Ознакомьтесь с нашей политикой обработки персональных данных
19:45 

Про один бит информации, или что мы, собственно, измеряем

Рысь Северная
Почём сегодня унитарный патрон на 7.62?
Из моего же ЖЖ

Или почему я начала несколько ржать при добавлении в эту кучу ещё и достоверности события от нуля до единицы. Оно же про то, почему теория связи статистическая.

Потому что эту теорию связи придумали математики, конечно, и вопрос "а как посчитать, сколько же информации" встал автоматически. Первая же мысль: бывают сообщения важные и неважные. Сколько информации в сообщении о том, что Саша любит Машу? Сколько информации в том, что сумма квадратов катетов равна квадрату гипотенузы? И где этой информации больше? А если у Маши спросить? А для Петра Ивановича, учителя математики, который преподаёт даже не в их школе? То есть решение о важности или неважности принимается субъектом, и даже если все вокруг будут твердить, что катеты важнее, Маше это как-то вдоль хитона.

То есть в математике опираться на этот критерий - ну только если другого не найдут. Нашли, разумеется. Это вероятность получения данного сообщения. "Солнце сегодня встало на востоке" - спасибо, мы другого и не ожидали, ничего нового. "Кошка научилась говорить "Привет" по-японски" - чо О_о? это же не может быть! "Вася сегодня пришёл вовремя" - хм, счёт 4:5 в пользу Васи, он в половине случаев опаздывает...

А если переходить на 0 и 1, то если всегда приходит 0, то приход очередного нуля ничего нового нам не сообщит - количество информации, полученной в этом сообщении, стремится к нулю. А если от этого входа неожиданно впервые за долгое время наблюдений приходит единица, количество новой информации зашкаливает (стремится к бесконечности). С единицей то же самое. А если вероятность 1:1? То появление нового сообщения в любом случае принесёт некоторое количество информации.

Вот это "некоторое количество" и есть один бит.

Общий вид функции (как изменяется количество информации в зависимости от вероятности появления сообщения) может быть разным, нам точно приводились примеры с логарифмами (и натуральный, и десятичный, и по основанию 2), но основа была именно эта: если вероятность появления сообщения равна 1, то количество информации там 0 бит; если 0,5 - то 1 бит; если 0, то есть сообщение невероятно, то в нём бесконечное количество информации.

Хотя сейчас уже привычно говорить, что один разряд (0 или 1) содержит 1 бит информации. Но если брать канон, это не совсем так.

Это было небольшое замечание, которое, в целом, мало используется на практике, где у нас наступление и не-наступление события равновероятны. То ли встретишь динозавра на улице, то ли не встретишь. Хотя для оценки некоторых характеристик полученной нейронной сети может и пригодиться. Или нет =).

@темы: Техно, Теоретически

URL
Комментарии
2017-06-03 в 20:34 

navigator.
Я свободен от всего, кроме долга, взятого на себя добровольно. Я мог выбирать. Я выбрал. ©
по крайней мере мне, как человеку от этого далёкому, было интересно прочитать.

2017-06-03 в 20:37 

Рысь Северная
Почём сегодня унитарный патрон на 7.62?
navigator., спасибо. В ЖЖ этот текст лежал давно, но у меня окончательный переезд оттуда, так что всё, что мне кажется интересным, я перетащила сюда. И ещё в процессе.

URL
   

Времена Пресловутой Весны

главная