Чем отличается формула Хартли от формулы Шеннона?

Question

Чем отличается формула Хартли от формулы Шеннона?

Answer 1

Если вероятности сообщений в наборе p1, ..pN равны между собой, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Answer 2

Для вероятностного подхода к определению количества  информации формула Хартли может быть использована в следующем виде:I = log2N=log2(1/P)         или        1/P = 2N Но, для определения количества информации не всегда возможно использовать формулу Хартли. Например, при алфавитном подходе к кодированию информации, все символы, записанные с помощью этого алфавита, могут встречаться одинаково часто. Но, в действительности символы алфавитов естественных языков в сообщениях появляются с разной частотой.