В справедливости (2.5) можно убедиться непосредственно: Пусть опыт α имеет п исходов А1, А2, … Ап, которые реализуются с вероятностями р(А1), р(А2), ... р(Ап), а событие β - т исходов B1, В2, ... Вт с вероятностями р(В1), р(В2), ... р(Вт). Сложный опыт α ^ β имеет п∙т исходов типа AiBj (i = 1... n, j = 1... т). Следовательно:
Поскольку α и β - независимы, то независимыми окажутся события в любой паре Ai ^ Bj. Тогда, согласно (А.9),
В слагаемых произведено изменение порядка суммирования в соответствии со значениями индексов. Далее, по условию нормировки (А.7):
а из (2.4)
окончательно имеем:
что и требовалось доказать.
Теперь рассмотрим ситуацию, когда имеются два опыта с одинаковым числом исходов п, но в одном случае они равновероятны, а в другом - нет. Каково соотношение энтропии опытов? Примем без доказательства* следующее утверждение:
* При необходимости доказательство можно найти, например, в книгах: А.М. и И.М. Яглом [49, с.73-75]; Л. Бриллюэн [7, с.34-36].