Информационное содержание -
Пожалуйста, ознакомьтесь с приведенной ниже ссылкой для получения подробной информации об информационном содержании.
Энтропия -
Энтропия — это мера случайности обрабатываемой информации (большой беспорядок). Другими словами, это мера непредсказуемости. Чем выше энтропия, тем сложнее делать какие-либо выводы из этой информации (очень мало информации о событии).
Информация в теории информации обычно измеряется в битах. Позвольте мне привести простой пример — представьте себе матч серии крикета между Индией и Афганистаном. В матче вероятность победы Индии составляет 99%, а вероятность победы Афганистана — всего 1%. Мы можем представить это, используя обозначение множества как {0,99, 0,01}.
Если Индия выиграет матч, мы не очень удивимся, и, следовательно, информация, «передаваемая» таким событием, невелика. Таким образом, никогда не следует удивляться его исходу. Это, в свою очередь, означает, что информация об этом совпадении равна нулю, следовательно, его собственная информация равна нулю.
В качестве альтернативы, если Афганистан выиграет, мы будем очень удивлены (учитывая то, что мы знаем о результате матча), и поэтому информация о таком событии будет высокой. Математически это можно представить следующей формулой:
Для события матча информация, связанная с победой Индии, будет равна −log2 (0,99) = 0,0144 бита, что довольно мало. В качестве альтернативы, для победы в Афганистане информация равна 6,64 бита. Таким образом, это прекрасно согласуется с интерпретацией информации как «неожиданности», как обсуждалось выше.
Для расчета среднего или ожидаемого значения переменной X:
Для ожидаемого значения информации, если мы определим энтропию, это будет выглядеть так:
Если мы попытаемся вычислить общую энтропию матча по крикету: -
Кросс-энтропия —
Примечание. Кросс-энтропия всегда больше, чем энтропия, и она будет такой же, как энтропия, только когда —
KL (Кульбак-Лейблер)Расхождение:-
Дивергенция KL(Кульбака–Лейблера) — это естественный способ измерения разницы между двумя распределениями вероятностей. энтропия.
Чтобы узнать истинное распределение, мы используем KL Divergence.
Он измеряет количество дополнительных битов, которые нам потребуются в среднем, если мы будем кодировать символы из y в соответствии с ŷ; вы можете думать об этом как о налоге на биты для кодирования символов из y с неподходящим распределением ŷ. Он никогда не бывает отрицательным и равен 0 только тогда, когда y и ŷ одинаковы.
Обратите внимание, что минимизация перекрестной энтропии аналогична минимизации расхождения KL от ŷ до y. (Они эквивалентны с точностью до аддитивной константы, энтропии y, которая не зависит от ŷ.)
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Если вам понравилось читать этот пост, пожалуйста, поделитесь им и дайте несколько аплодисментов, чтобы другие могли его найти 👏👏👏👏👏 !!!!
Вы можете следить за мной на Medium, чтобы получать свежие статьи. Кроме того, свяжитесь со мной в LinkedIn.
Если у вас есть какие-либо комментарии, вопросы или рекомендации, не стесняйтесь публиковать их в разделе комментариев ниже!
