Ознакомьтесь с нашей политикой обработки персональных данных
  • ↓
  • ↑
  • ⇑
 
Записи с темой: техно (список заголовков)
01:46 

О нейронных сетях

Почём сегодня унитарный патрон на 7.62?
Чем дальше, тем больше у меня складывается впечатление, что у нейронных сетей судьба вечной «технологии прикрытия». Например, сегодняшний бум интереса к ним, если мне зрение не изменяет, третий, а первый был ещё в середине прошлого века (70 лет прошло, есличо). И в каждый из этих всплесков это был подход, от которого ожидали изменения мира.

А сначала вызрел интернет. А сначала вызрела мобильная связь. Мир изменился и без искусственной нейронки, вернее, с ней, но вряд ли из-за неё.

Интересно, что, какая технология вызреет вот сейчас, где-то чуть в стороне от этого всего deep learning.

@темы: Техно, Простые мысли

19:45 

Про один бит информации, или что мы, собственно, измеряем

Почём сегодня унитарный патрон на 7.62?
Из моего же ЖЖ

Или почему я начала несколько ржать при добавлении в эту кучу ещё и достоверности события от нуля до единицы. Оно же про то, почему теория связи статистическая.

Потому что эту теорию связи придумали математики, конечно, и вопрос "а как посчитать, сколько же информации" встал автоматически. Первая же мысль: бывают сообщения важные и неважные. Сколько информации в сообщении о том, что Саша любит Машу? Сколько информации в том, что сумма квадратов катетов равна квадрату гипотенузы? И где этой информации больше? А если у Маши спросить? А для Петра Ивановича, учителя математики, который преподаёт даже не в их школе? То есть решение о важности или неважности принимается субъектом, и даже если все вокруг будут твердить, что катеты важнее, Маше это как-то вдоль хитона.

То есть в математике опираться на этот критерий - ну только если другого не найдут. Нашли, разумеется. Это вероятность получения данного сообщения. "Солнце сегодня встало на востоке" - спасибо, мы другого и не ожидали, ничего нового. "Кошка научилась говорить "Привет" по-японски" - чо О_о? это же не может быть! "Вася сегодня пришёл вовремя" - хм, счёт 4:5 в пользу Васи, он в половине случаев опаздывает...

А если переходить на 0 и 1, то если всегда приходит 0, то приход очередного нуля ничего нового нам не сообщит - количество информации, полученной в этом сообщении, стремится к нулю. А если от этого входа неожиданно впервые за долгое время наблюдений приходит единица, количество новой информации зашкаливает (стремится к бесконечности). С единицей то же самое. А если вероятность 1:1? То появление нового сообщения в любом случае принесёт некоторое количество информации.

Вот это "некоторое количество" и есть один бит.

Общий вид функции (как изменяется количество информации в зависимости от вероятности появления сообщения) может быть разным, нам точно приводились примеры с логарифмами (и натуральный, и десятичный, и по основанию 2), но основа была именно эта: если вероятность появления сообщения равна 1, то количество информации там 0 бит; если 0,5 - то 1 бит; если 0, то есть сообщение невероятно, то в нём бесконечное количество информации.

Хотя сейчас уже привычно говорить, что один разряд (0 или 1) содержит 1 бит информации. Но если брать канон, это не совсем так.

Это было небольшое замечание, которое, в целом, мало используется на практике, где у нас наступление и не-наступление события равновероятны. То ли встретишь динозавра на улице, то ли не встретишь. Хотя для оценки некоторых характеристик полученной нейронной сети может и пригодиться. Или нет =).

@темы: Техно, Теоретически

22:37 

Из истории радиопротиводействия

Почём сегодня унитарный патрон на 7.62?

Крейсер «Изумруд» и его команда.



Команда крейсера «Урал»


Вице-адмирал З.П. Рождественский

Первые сведения об умышленном создании радиопомех относятся к русско-японской войне (1904-1905). Командир русского крейсера «Урал» предложил командующему эскадрой вице-адмиралу З.П. Рождественскому подавить излучением бортовой радиостанции линию радиосвязи японских разведывательных крейсеров, следовавших на небольшом удалении от русской эскадры и передававших сведения о её продвижении. Однако Рождественский этого не разрешил и тем самым позволил разведчикам противника беспрепятственно передавать высшему командованию японского флота сведения о боевых порядках и координатах кораблей своей эскадры.

В ходе Цусимского сражения передовые командиры отдельных кораблей по собственной инициативе применяли помехи радиосвязи. Так, например, создавали помехи крейсер «Изумруд» и миноносец «Громкий».


Из книги С.А. Вакина и Л.Н. Шустова

@темы: Теоретически, Техно

16:43 

Немного о бесконечности

Почём сегодня унитарный патрон на 7.62?
О чём ещё можно поговорить в поезде, как не о математике =). Итак, то, что я (как мне показалось) поняла, или как полшколы и весь институт нас малясь дурили.

Из сладостных уроков математики мы помним, что есть две такие маематические абстракции: очень_большое_положительное_число (она же "плюс бесконечность") и очень_большое_по_модулю_и_при_этом_отрицательное_число (она же "минус бесконечнсть"). То есть обе бесконечности - это "до хренища, умноженное на два". Так вот, как мне дооолго и муторно объясняли, на самом деле бесконечность одна, а плюс она или минус - сие тайна велика есть.

Иллюстрировалось это просто. Вот есть у нас прекрасная комплесная плоскость. То есть по горизонтальной оси у нас действительная часть числа (может быть и +, и -), по вертикальной оси - мнимая часть, которая некоторое b, умноженное на корень из -1; b тоже может быть как +, так и -, то есть и вверх, и вниз. И любая точка на этой плоскости соответствует единственному комплексному числу, а любое комплексное число может быть обозначено через единственную точку на этой плоскости. Однозначное соответствие то есть.

И вот есть такая плоскоть, допустим, на листе бумаги. А мы взяли шар и поставили на этот лист в точку (0; 0). То есть совместили точку (0; 0) и южный полюс нашего шара. Теперь возьмём любую точку с плоскоти и соединим её прямой с северным полюсом шара. Эта прямая пересечёт шар в одной-единственной точке. Если мы возьмём другую точку с плоскости и так же соединим с северным полюсом шара, получим другую, тоже чётко определённую точку пересечения прямой и шара. И так - для любой точки плоскости. То есть любой точке комплексной плоскости соответствует одна точка на шаре. При этом чем дальше будет точка плоскости от нуля, тем выше будет точка пересечения прямой с шаром.

Но комплексная плоскость бесконечна, причём во всех направлениях. И если мы возьмём любую точку, удалённую от нуля бесконечно далеко, прямая соединится с шаром в единственной точке - на северном полюсе. И в какую бы сторону мы не ушли от нуля - всё равно при соединении точки и шара прямой мы попадём в точку N.

То есть мы видим, что точка на шаре и точка на плоскости имеют однозначное взаимное соответствие. За исключением единственного случая - точка в бесконечности по одной из осей - всё равно, плюс или минус эта бесконечность, мы всё равно попадаем на полюс. Это исключение разрешается признанием, что бесконечность - одна ^__^. Тогда мы получим просто ещё одну систему координат ^__~ с чётким правилом перевода.

Всё это было мне рассказано, дабы объяснить трансформацию эллипса сначала в параболу, а затем в гиперболу, но это уже слишком для меня. Хотя если разберусь - напишу =).

P.S. Ага, мне этот логический переход к единственной бесконечности кажется красивым. Именно поэтому я о нём и написала. Это почти так же клёво, как няшные котики.

@темы: Теоретически, Техно

13:59 

Дела институтские

Почём сегодня унитарный патрон на 7.62?
Сегодня собираюсь сдать зачёт по стррашному предмету "Искусственный интеллект". Конечно, до зачётной недели ещё жить и жить, но лучше ведь пораньше избавиться от ненужной головной боли, ннэ? Тем более по данной дисциплице будет мой диплом.

Немного о том, что нам рассказали о форме зачёта.

Так вот, что касается последнего задания (обучение нейронной сети), вернее, второго и третьего куска третьей части, а именно: отделения гиперплоскостью одной из вершин гиперкуба от всех смежных вершин.

Формулировка задания.

Решение задачи до момента возникновения мозготраха.

Итак, по сути у нас есть следующее: 2 ПЛБ с необходимостью нахождения W1и W2, но без особого желания тратить время на километровые (или мегабайтные) расчёты. Рассмотрим каждый из этих ПЛБ подробно.

Задача 1-го ПЛБ (W1) - разделить гиперплоскостью расширенные объекты {000101} как 2-ой кл. (выход ПЛБ=-1) и {100101}, {010101}, {001101}, {000001}, {000111} как 1-ый кл. (выход ПЛБ=+1). Если мы будем рассматривать гиперкуб, вершинами которого будут данные объекты, то заметим, что каждая вершина, соотв. объекту 1-ого кл. является смежной с вершиной {000101}. Таким образом, они являются равноправными по отношению к той вершине, которую необходимо отсечь гиперплоскостью. Это наводит на мысль о том, что коэффициенты w1-w5 м.б. одинаковы по модулю (не обязательно, но если писать сразу и по-простому, а не сидеть высчитывать, то и так сойдёт, подробнее напишу позже). Знак w1-w5 и величина и знак w6 определяется из следующих соображений (сначала на примере): единственный отрицательный выход должен дать объект {000101}. При этом w6 точно не может быть <0 (объект {000001} даёт положительный отклик). Определяем по минимуму: w4=-2, w6=1. Все остальные w положительны и по модулю равны w4. Получаем W1={222-221}. Проверка показывает, что данная гиперплоскость действительно классифицирует объекты верно.

Попробум сделать вывод для вершины, требующей выхода ПЛБ=-1, при том, что смежные вершины требуют выхода ПЛБ=+1:
При размерности изначального (нерасширенного) объекта=m вектор W будет строиться следующим образом: для w1-wm величину по модулю принимаем=2, знак "-" ставится в тех разрядах, которые в вершине=1, знак "+" ставится в тех разрядах, которые в вершине=0. Величина порога w(m+1)=2*с-1, где с - количество разрядов входного объекта, равных 1.

Рассуждая аналогичным образом, получим весовой вектор 2-ого ПЛБ W2={222-22-7}.

Вывод для вершины, требующей выхода ПЛБ=+1, при том, что смежные вершины требуют выхода ПЛБ=-1:
При размерности изначального (нерасширенного) объекта=m вектор W будет строиться следующим образом: для w1-wm величину по модулю принимаем=2, знак "-" ставится в тех разрядах, которые в вершине=0, знак "+" ставится в тех разрядах, которые в вершине=1. Величина порога w(m+1)=-[2*с-1], где с - количество разрядов входного объекта, равных 1.

Кажется, где-то так.

@музыка: Медведев - Полшага до песни

@настроение: рабочее

@темы: Теоретически, Гранит науки, Техно

Времена Пресловутой Весны

главная