Наука и технологии 30 Апреля 2020

Творец теории информации

30 апреля родился великий математик, создатель теории информации и жонглер Клод Шеннон
Творец теории информации
Великий математик, создатель теории информации Клод Шеннон
wsj.com

Ни один ученый XX века не внес в теорию информации такого личного вклада, который хотя бы отдаленно был сопоставим с вкладом Клода Шеннона, которого без всяких преувеличений принято именовать отцом теории информации и научной криптографии. Он один из первых задумался над созданием искусственного интеллекта и был автором работ на эту тему. Но, сколь бы смешным это кому-то ни показалось, он еще имел сертификат «доктора магических наук», любил разные механические и электронные машины и безделушки, множество которых сам разработал и собрал. Он увлекался шахматами и разработал основы создания компьютерных систем для разных игр.

 

Цирковые наклонности

Клод Элвуд Шеннон родился 30 апреля 1916 года. Его детство прошло в Мичигане, в городке Гейлорд. Уже в школе Клод проявил склонности к механике и электротехнике. Дома он конструировал модели самолетов, радиоуправляемых лодок и беспроводного телеграфа. Склонный к рискованным затеям, например к езде на одноколесных велосипедах собственной конструкции и к жонглированию, он в детстве считал это своим призванием, но не встретил поддержки в семье, хотя продолжал заниматься этим всю жизнь.

А еще Клод очень любил математические головоломки, которые давала ему решать старшая сестра Кэтрин, ставшая впоследствии профессором математики. Одним из увлечений Клода уже тогда была криптография.

ШЕН ВЕЛО.png
Шеннон жонглирует, катясь на одноколесном велосипеде
journals.openedition.org

В 1932 году Клод поступил в Мичиганский университет, который окончила его сестра, где увлекся математикой Джорджа Буля, радиотехникой и публикациями Ральфа Хартли о передаче информации с помощью различных каналов связи.

magnifier.png Склонный к рискованным затеям, например к езде на одноколесных велосипедах собственной конструкции и к жонглированию, в детстве он считал это своим призванием, но не встретил поддержки в семье, хотя продолжал заниматься этим всю жизнь

Университет Шеннон окончил в 1936 году с дипломами бакалавра по электротехнике и математике, заслужив членство в американском обществе выдающихся инженеров Mechanical Engineering Honor Society и стал научным сотрудником отдела электротехники Массачусетского технологического института (Massachusetts Institute of Technology, MIT).

В MIT под руководством выдающегося американского инженера Вэнивара Буша Шеннон участвовал в разработке дифференциального анализатора, «…самого умного компьютера своего времени», как он сам его потом называл, и совершенствовал теорию переключающих схем на основе концепции Джорджа Буля. Результатом этих работ стала магистерская диссертация по анализу коммутационных схем, которую он защитил в 1937 году.

 

Интерес к Булевой алгебре

Вскоре была опубликована статья Шеннона под названием A symbolic analysis of relay and switching circuits («Символический анализ релейных и переключательных цепей»). В ней было доказано, что анализ символическим методом может быть использован для решения многих проблем с помощью Булевой алгебры. Что интересно, позже выяснилось, что советский инженер и математик Виктор Иванович Шестаков предложил интерпретацию логики Булевой алгебры на релейно-контактных схемах в середине 1930-х годов, то есть гораздо раньше Шеннона, и в 1938 году защитил кандидатскую диссертацию на эту тему. Но, к сожалению, Шестаков опубликовал соответствующие статьи только в 1941 году.

В 1939 году эта работа Шеннона была удостоена престижной премии Альфреда Нобеля, присуждаемой с 1931 года Американским обществом гражданских инженеров (American Society of Civil Engineers) за исключительные заслуги специалисту не старше тридцати пяти лет.

magnifier.png Норма, первая жена Клода Шеннона, вспоминала, как она угощала чаем Альберта Эйнштейна, который говорил, что она «…замужем за блестящим, просто блестящим человеком»

Летом 1940 года Шеннон завершил свою диссертационную работу под названием An algebra for theoretical genetics («Алгебра теоретической генетики»), в которой доказал полезность алгебры Буля для сравнительного выявления природных закономерностей, например периодического закона Менделеева.

В 1940 году в MIT Шеннону была присвоена степень доктора в области математики, и он стал сотрудником Национального института перспективных исследований (Institute for Advanced Study, IAS) в Принстоне, где имел возможности обсуждать свои идеи с выдающимися учеными и математиками Германом Вейлем и Джоном фон Нейманом.

Норма, первая жена Клода Шеннона, вспоминала, как она угощала чаем Альберта Эйнштейна, который говорил, что она «…замужем за блестящим, просто блестящим человеком».

 

Война и криптография

Во время Второй мировой войны Шеннон подключился к работам по системам управления огнем и криптографии по заказу Национального исследовательского комитета обороны (National Defense Research Committee, NDRC). И с 1941 по 1956 год он работал под руководством Хендрика Боде в знаменитой Bell Telephone Laboratories.

Шеннона интересовали также возможности защиты передаваемой информации от «несанкционированного чтения». Тогда он участвовал в разработке системы криптографии, в том числе для правительственной связи и конференций между президентом США Рузвельтом и премьер-министром Великобритании Черчиллем.

В течение нескольких месяцев 1943 года Шеннон взаимодействовал с ведущим британским математиком Аланом Тьюрингом, который в Вашингтоне обменивался с криптоаналитической службой ВМС США методами, используемыми в Великобритании для вскрытия шифров Enigma, используемых фашистскими подводными лодками в северной части Атлантического океана. Они «…потратили много времени, обсуждая, как работает мозг и можно ли что-нибудь сделать с машинами для наделения их человеческим мозгом». В дальнейшем мысль о создании искусственного интеллекта не покидала Шеннона.

ШЕН ТЬЮРИНГ.png
В течение нескольких месяцев 1943 года Шеннон взаимодействовал с ведущим британским математиком Аланом Тьюрингом
biography.com

В конце войны Шеннон подготовил секретный меморандум «Математическая теория криптографии» (A Mathematical Theory of Cryptography). Его рассекреченная версия была опубликована в Bell System Technical Journal (BSTJ) в 1949 году под названием «Теория связи в секретных системах» (Communication Theory of Secrecy Systems) и послужила началом обширных исследований в теории кодирования и передачи информации. Здесь Шеннон доказал существование криптостойких шифров и исследовал необходимые для этого условия. Он также сформулировал основные требования, предъявляемые к надежным шифрам, а также методы создания криптостойких систем шифрования на основе простых операций. Эта публикация содержит многое из работы Шеннона «Математическая теория связи» (A Mathematical Theory of Communication), опубликованной в журналах BSTJ за июль и октябрь 1948 года и сделавшей Клода Шеннона всемирно известным. В ней изложены идеи, ставшие основой теории и техники обработки, передачи и хранения информации и введено понятие информации, содержащейся в передаваемом сообщении. В качестве меры информации передаваемого сообщения М использована логарифмическая функция I = log2(M), которую предложил в 1928 году Ральф Хартли. Эта фундаментальная работа стала самой знаменитой в творчестве Шеннона. В ней применен вероятностный подход Норберта Винера в теории связи и изложены первые результаты совместной работы Шеннона, Оливера и Пирса по использованию импульсно-кодовой модуляции.

 

Энтропия и математика

В своих работах 1948–1949 годов Шеннон определил количество информации через энтропию, а за единицу информации принял бит. Позже Шеннон рассказывал, что использовать энтропию ему посоветовал Джон фон Нейман, который мотивировал свой совет тем, что «…мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону преимущество в неизбежных спорах».

Норбер Винер так описывал разницу между своим подходом и подходом Шеннона к теории информации: «Я подошел к теории информации с позиций изучения электрических систем, проводящих непрерывный ток или что-нибудь такое, что по крайней мере можно интерпретировать как непрерывный ток… Шеннон любит дискретное и сторонится непрерывного. Он рассматривает дискретные сообщения как последовательность во времени утвердительных и отрицательных ответов, и каждый выбор между “да” или “нет” считает элементом информации. В то же время я, занимаясь теорией непрерывной фильтрации и исходя из точек зрения, казавшихся вначале совершенно отличными от точки зрения Шеннона, пришел к весьма близкому определению единицы количества информации. Введя определение понятия количества информации по Шеннону—Винеру (ибо оно в равной мере принадлежит нам обоим), мы совершили радикальный переворот в этой области».

magnifier.png В 1949 году Шеннон направил в Американский институт инженеров-электриков доклад, посвященный проблеме создания искусственного интеллекта. Соответствующая статья «Составление программ для игры в шахматы на вычислительной машине» была опубликована в 1950 году

В 1949 году Шеннон направил в Американский институт инженеров-электриков (American Institute of Electrical Engineers) доклад, посвященный проблеме создания искусственного интеллекта. Соответствующая статья «Составление программ для игры в шахматы на вычислительной машине» (Programming a Computer for Playing Chess) была опубликована в 1950 году.

В том же году Клод Шеннон с супругой отправились в Англию, где в Манчестерском университете они посетили лабораторию Тьюринга и обсудили проблемы искусственного интеллекта и тест Тьюринга: «Машина станет разумной тогда, когда будет способна поддерживать

разговор с обычным человеком и тот не сможет понять, что говорит с машиной». Тьюринг с интересом отнесся к шахматной программе Шеннона и к его работе по самообучающимся механизмам.

ШЕН МЫШЬ.png
Запоминая результаты сделанных ходов, электромеханическая мышка Тесей приобретала способность самостоятельно находить кратчайший выход из любого места учебного лабиринта
boffosocko.com

 

Поиски искусственного интеллекта

Тогда же Шеннон завершил создание электромеханической мышки Тесея, которая могла «находить» выход из лабиринта. Это был один из первых экспериментов по искусственному интеллекту. Запоминая результаты сделанных ходов, Тесей приобретал способность самостоятельно находить кратчайший выход из любого места учебного лабиринта.

Тогда же Шеннон создал калькулятор Throbac с интерфейсом в римских цифрах, и «окончательную машину» (Ultimate Machine), описанную в романе Артура Кларка «Голос над морем». Ученый-фантаст Артур Кларк не раз бывал в доме Шеннона, и его потрясла Ultimate Machine. «Выглядело всё очень просто, — писал Кларк. — <…> Когда вы поворачиваете выключатель, раздается сердитое, вполне осмысленное ворчание. Крышка поднимается, и из коробки высовывается рука. Она поворачивает выключатель в обратную сторону и снова убирается внутрь коробки, после чего крышка медленно закрывается, и ворчание затихает. Психологический эффект этого мистического зрелища, если вы к нему не подготовлены, потрясающе силен. Мрачное впечатление остается от машины, которая выключает сама себя».



Одна из проблем, над которой думал Шеннон, формулировалась так: насколько сложной должна быть машина, чтобы перехитрить человека? И Шеннон решил сконструировать такую машину. Играть с машиной Шеннона было очень просто: игрок переводил красный тумблер в левое или правое положение и нажимал кнопку, на что машина реагировала зажиганием соответственно левой или правой лампочки, если угадывала положение тумблера, или наоборот, если ее прогноз был ошибочным. В длинной последовательности партий с одним и тем же человеком машина Шеннона угадывала в 65% случаев.

Американские математики того времени недооценивали работы Шеннона, считая их недостаточно строгими. Начало их признанию положил советский академик Андрей Николаевич Колмогоров, один из крупнейших математиков ХХ века (некоторые его работы были вдохновлены достижениями Шеннона).

«Значение работ Шеннона для чистой математики не сразу было достаточно оценено… еще на международном съезде математиков в Амстердаме (1954 год) мои американские коллеги, специалисты по теории вероятностей, считали интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика… Правда, строгое математическое обоснование своих идей Шеннон в сколько-либо трудных случаях предоставил своим продолжателям. Однако его математическая интуиция изумительно точна».

 

Игра с Ботвинником

В 1957 году Вэнивар Буш стал президентом MIT и пригласил туда Клода Шеннона. И с 1958 по 1978 год Шеннон был профессором и научным сотрудником исследовательской лаборатории электроники этого института. До 1972 года он оставался консультантом Bell Labs и работал в основном дома. Свой дом в Винчестере Шеннон превратил в нечто среднее между библиотекой, мастерской и музеем, где накапливались устройства и аппараты его собственного изготовления. В подвале дома была оборудована мастерская, где Шеннон проводил большую часть времени, делая электрические и механические машины, например фуникулер от дома до берега озера Мистик.

ШЕН ШАХ.jpg
Шеннон со своей шахматной машиной. Шеннон всю свою жизнь посвятил другим увлечениям, связанным с игрой (в частности, шахматами) и искусственным интеллектом. В 1949 году он опубликовал одну из первых статей о программировании игры в шахматы
journals.openedition.org

Ряд чрезвычайно важных работ Шеннона был посвящен исследованию возможностей создания логических машин, способных решать интеллектуальные задачи. Эти исследования продолжали работу, начатую Тьюрингом и фон Нейманом.

В 1960 году Михаил Ботвинник, заинтересовавшийся проблемой алгоритмизации шахматной игры, прочел в Университете имени Гумбольдта в Берлине лекцию «Люди и машины за шахматной доской». С ее публикацией познакомился Клод Шеннон. Весной 1965 года он с женой Бетти приехал в Москву на инженерную конференцию, где встретился с Ботвинником. При встрече «…мы обсудили проблему создания искусственного шахматиста». В заключение Шеннон предложил сыграть партию, а по ее окончании (через 42 хода) попросил какой-нибудь сувенир. Я тут же восстановил текст партии и вручил своему партнеру на память», — вспоминал Ботвинник.

magnifier.png «Трудно предсказать будущее, но мое ощущение, что к 2001 году нашей эры мы будем иметь машины, которые смогут ходить, видеть и думать, как это делаем мы»

Шеннон был проинформирован о том, что может получить лицензионные платежи за издание в СССР его книги в размере нескольких тысяч рублей, что тогда соответствовало примерно такой же сумме долларов, которые, однако, могли быть потрачены только в России. Заинтересовавшие Клода в Москве книги были только на русском языке, шуба у Бетти уже была, мебель было трудно транспортировать… В итоге они купили набор из восьми музыкальных инструментов, от фагота до балалайки.

В дальнейшем интересы Шеннона сосредоточились на игровых автоматах. «Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи», — признавался Шеннон.

 

Как выиграть в казино

Весной 1959 года на работу в MIT пригласили профессора математики Эдварда Торпа, теоретика игры в блек-джек, одной из самых популярных в казино карточных игр, восходящую звезду менеджмента хедж-фондов, одного из основателей алгоритмической торговли. В MIT Торп завершил обработку результатов собственных испытаний в казино и написал статью «Обыграй дилера: Выигрышная стратегия игры в блек-джек» (Beat the DealerWinning Blackjack Strategy). Чтобы опубликовать ее в таком солидном журнале, как The Proceedings of the National Academy of Sciences, требовалась рекомендация членов академии, а единственным математиком из них в MIT с 1956 года был Клод Шеннон. Шеннон прочел статью и рекомендовал ее для издания. Как рассказывал Торп, «потом он спросил: “Вы работаете над чем-нибудь еще в игорной зоне?” Я решил открыть другую тайну и рассказал ему о своей мечте: обыграть рулетку в казино… Мы провели вместе несколько захватывающих часов и расстались в глубоких сумерках с планами встретиться и обсудить эту идею снова…». Итогом игрового сотрудничества стал носимый компьютер размером с пачку сигарет, содержащий двенадцать транзисторов и предсказывающий вероятность выигрыша в рулетку на основе быстрых замеров частоты оборотов колеса рулетки и скорости вброса шарика рукой крупье. Летом 1961 года Торп и Шеннон с женами встретились в казино Лас-Вегаса, где успешно провели натурные испытания этого компьютера. Вскоре Эдвард Торп покинул MIT, а Клод Шеннон разработал разнообразные модели биржевой игры на курсах акций и опробовал их (по его словам, успешно) на собственных акциях.

magnifier.png В 2001 году были открыты ещё пять памятников Клоду Шеннону в различных местах Соединенных Штатов, связанных с его жизнью и деятельностью

В 1970-е годы по разработке Шеннона изготовили робот-муляж с лицом Уильяма Дукенфилда, знаменитого американского комика, фокусника и писателя. Этот робот жонглировал вводимыми сверху шариками, отскакивающими от мембраны расположенного под ним барабана. Его работа отвечала формуле Шеннона: (F + D)H = (V + D)N, где F — время свободного полета шарика, D — время его нахождения в руке, V — время, пока руки свободны, N — число шариков, H — количество рук.

«Я представляю то время, когда мы будем для роботов что собаки для

людей, и я болею за машины», — говорил Шеннон.

В 1974 году венгерский скульптор и преподаватель архитектуры

Эрнё Рубик изобрел головоломку «кубик Рубика». Эта головоломка

понравилась Шеннону, и он придумал для нее манипулятор, позволяющий собирать кубик.

Реализация проектов Шеннона затормозилась после смерти Вэнивара Буша. Новое руководство MIT не разделяло увлечений Шеннона «совершенно бесполезными вещами <…> потому, что, по его словам, их весело делать». Ему предложили сотворить нечто более

полезное и вернуться на путь теории информации, на что Шеннон отвечал: «Большинство великих математиков сделали свои лучшие работы, когда они были молоды».

ШЕН ЖОНГ.png
«Проникновение в суть способности человека жонглировать послужит основой для создания сложных роботизированных систем», — считал Шеннон
cmrr-star.ucsd.edu/

 

Суть жонглирования

В 1978 году Шеннон ушел на пенсию. На пенсии он сделал диораму с муляжами трех артистов, жонглирующих кольцами, мячами и булавами, приводимую в движение «кулуарным» часовым механизмом. Персонажами диорамы были выбраны самые знаменитые жонглеры тех лет. Шеннон построил и несколько других жонглирующих машин.

«Проникновение в суть способности человека жонглировать послужит основой для создания сложных роботизированных систем», — считал Шеннон. По его мнению, жонглирование происходит в условиях обычной жизни, как и вождение автомобиля на оживленной улице, поимка мяча в ветреный день или ходьба в суматохе. Все эти задачи требуют точного прогнозирования развивающихся событий.

В начале 1980 года Шеннон написал статью «Научные аспекты жонглирования» (Scientific Aspects of Juggling) для журнала Scientific American, от чего его часто отвлекали события в мире шахмат, например встреча пионеров компьютерных шахмат в венском отеле Sacher для подготовки Третьего чемпионата мира шахматных программ и сам чемпионат, на котором он присутствовал в качестве почетного гостя.

ШЕН ПАМ.png
Общество теории информации и IEEE открыли в родном городе Шеннона его бронзовую статую. Она находится в парке Шеннона, заложенном отцом Клода Шеннона. На бронзовом листе, который держит в левой руке бронзовый Шеннон, выбита формула пропускной способности канала с аддитивным шумом
dailymotion.com

В ноябре 1985 года в одном из своих выступлений он сказал: «Трудно предсказать будущее, но мое ощущение, что к 2001 году нашей

эры мы будем иметь машины, которые смогут ходить, видеть и думать, как это делаем мы». Время он не угадал, но оно действительно все ближе.

В начале 1993 года врачи обнаружили у Клода Шеннона симптомы болезни Альцгеймера с печальным прогнозом и рекомендовали госпитализировать его в расположенный поблизости медицинский центре города Медфорда. На семейном совете было принято решение прислушаться к рекомендациям медицины, с последующей продажей дома и пожертвованием творческих продуктов и артефактов Клода Шеннона музею MIT. Многие из них до сих пор хранятся в запасниках этого музея в городе Сомервилл.

Клод Шеннон скончался 24 февраля 2001 года в Медфорде.

В октябре 2000 года в присутствии жены Шеннона Бетти Общество теории информации и IEEE открыли в родном городе Шеннона его бронзовую статую. Она находится в парке Шеннона, заложенном отцом Клода Шеннона. На бронзовом листе, который держит в левой руке бронзовый Шеннон, выбита формула пропускной способности канала с аддитивным шумом.

Темы:

Еще по теме:
22.05.2020
Сто десять лет назад, 23 мая 1908 года, родился американский физик и инженер-электрик Джон Бардин. Его особый гений не р...
15.05.2020
Пафнутий Львович Чебышёв (16 мая 1821 г. — 8 декабря 1894 г.) родился в деревне Окатово Боровского уезда Калужск...
13.05.2020
Дональд Трамп неожиданно для всех подписал указ о коммерческом освоении ресурсов на Луне и других небесных телах. Одной ...
08.05.2020
Как ученые-эпидемиологи в блокадном Ленинграде боролись с эпидемиями и побеждали их
Наверх