Искусственная нобелевская сеть

Как следует из официальной формулировки Шведской королевской академии наук, награда досталась американцу Джону Хопфилду из Принстонского университета и канадцу с британскими корнями Джеффри Хинтону из Университета Торонто «за фундаментальные открытия и изобретения, которые позволяют осуществлять машинное обучение с помощью искусственных нейронных сетей».

Другими словами, лауреатами физической Нобелевки-2024 стали два пионера в сфере разработки технологий искусственного интеллекта и вычислительной нейронауки (одного из них, Джеффри Хинтона, в популярных обзорах даже часто называют «крестным отцом искусственного интеллекта»).

Хопфилд и Хинтон внесли огромный вклад в создание базовых «строительных блоков» современного машинного обучения — прикладных методов эффективной обработки больших массивов данных при помощи сверхмощных вычислительных систем (хотя о самой возможности применения для этих целей таких компьютерных супермощностей в период пиковой исследовательской активности ученых в 80-х годах прошлого века можно было только мечтать).

И, как отметил в беседе с нами Юрий Чехович, президент IT-компании —национального чемпиона «Антиплагиат», которая развивает программные продукты в области академической этики с использованием технологий машинного обучения, ученик академика Юрия Журавлева, «безусловно, последняя Нобелевская премия по физике — это очень неожиданный и интересный прецедент. И удивителен он прежде всего потому, что фактически физическую премию присудили за математику. Единственное, что с ходу приходит в голову из аналогий, — Нобелевская премия Леониду Канторовичу по той же математике в чистом виде — линейному программированию — в “экономической” номинации (в 1975 году с формулировкой “за вклад в теорию оптимального распределения ресурсов”. — “Стимул”). Зато могу предположить, что сами физики подобным решением Нобелевского комитета вряд ли остались довольны. Хотя бы потому, что к физике эта премия не имеет почти никакого отношения».

Для того чтобы попытаться оправдать столь оригинальный выбор, Шведская академия уточняет, что два лауреата, мол, использовали «различные физические инструменты» для разработки методов, которые являются основой современного глубокого машинного обучения.

Впрочем, г-н Чехович в связи с этим заметил, что «ссылки [в сопроводительных комментариях] на примененные ими (точнее, Джеффри Хинтоном. — “Стимул”) методы статистической физики не выглядят сильно убедительными, поскольку это тоже чистой воды математика».

В свою очередь, на пресс-конференции 8 октября председатель Нобелевского комитета по физике Эллен Мунс отметила: «Хотя искусственный интеллект не кажется очевидным претендентом на Нобелевскую премию по физике, открытие нейронных сетей, способных обучаться, и их применение — это две области, которые тесно связаны с физикой» — и в качестве наглядного примера этой «тесной взаимосвязи», добавила, что «искусственные нейронные сети были использованы для продвижения исследований в таких разных областях физики, как физика частиц, материаловедение и астрофизика».

Однако, какими бы витиеватыми формулировками ни пользовались члены Нобелевского комитета для придания большей убедительности своему выбору, сути дела это не меняет: физика в этом году очевидно оказалась на обочине. В краткой же версии Юрия Чеховича, говорить о физической подоплеке Нобелевской премии-2024 — это примерно как глубокомысленно утверждать, что компьютеры ведь тоже состоят из атомов.

Президент IT-компании —национального чемпиона «Антиплагиат» Юрий Чехович

unkniga.ru

Отцы грядущей ИИ-революции

Если все-таки оставить за скобками тему привязки больших научно-практических достижений Джона Хопфилда и Джеффри Хинтона к физике per se, то, по мнению Юрия Чеховича (во многом разделяемому и другими комментаторами) последняя Нобелевская премия — «это очень отрадное событие, которое наглядно показало высокую значимость тех прорывных технологий, которые будут в ближайшие годы менять наш мир (и уже в ряде сфер его заметно изменили)».

Джон Хопфилд, начинавший свою научно-исследовательскую карьеру еще в конце 1950-х в знаменитой Bell Laboratories в качестве физика, изучающего свойства твердых тел, в дальнейшем резко поменял профиль своей деятельности, увлекшись биологией и нейронаукой, и, проработав долгое время в Принстонском университете, в 1980 году принял предложение стать профессором химии и биологии в другой научной Мекке — Калифорнийском технологическом институте (Caltech) в Пасадене, где, помимо всего прочего, он получил долгожданный доступ к серьезным для того времени вычислительным ресурсам.

И в 1982 году Хопфилд создал принципиально новую компьютерную архитектуру, позже получившую название «нейронная сеть Хопфилда», которая представляет собой набор узлов, или искусственных нейронов, способных менять силу своих связей с помощью специального алгоритма обучения. Справедливости ради уточним, что этот алгоритм во многом был вдохновлен физической теорией, точнее знанием специфики поведения магнитных материалов, обладающих особыми свойствами благодаря наличию у них атомного спина, который превращает каждый атом в крошечный магнит.

Сеть Хопфилда была построена на итеративном изменении силы связей между магнитами (узлами) в попытке найти минимальное значение общей энергии системы.

В 1985 году, находясь в Университете Джонса Хопкинса, Терренс Сейновски в сотрудничестве с ученым-компьютерщиком Джеффри Хинтоном изобрел машину Больцмана — первый алгоритм, решающий проблемы обучения в многослойных нейронных сетях

salk.edu

Свободно — об опасности технологии

Как отметил Юрий Чехович, «о сети Хопфилда студенты подробно узнают сегодня в различных вузовских курсах, и даже я еще в далекие времена своего университетского обучения уже знал о ней не понаслышке… И хотя в чистом виде она сегодня практически не используется, будучи прежде всего базовой теоретической моделью, на ее основе во многом и были позднее созданы многие более совершенные и эффективные инструменты и методики в сфере машинного обучения».

В том же 1982 году Джеффри Хинтон, работавший в Университете Торонто, узнав об этой оригинальной идее, начал активно ее развивать с целью создания на ее основе улучшенной структуры машинного обучения. В 1985 году он вместе со своим коллегой Терренсом Сейновски (который оказался обделен вниманием шведских академиков) представил модель, смело названную ими «машиной Больцмана»: вместо магнитного спина, как у Хопфилда, в качестве основы ее алгоритма было использовано уравнение Больцмана, названное в честь корифея статистической физики Людвига Больцмана (1844‒1906). Это уравнение описывает энергию системы (статистическое распределение частиц в газе или жидкости). И эта модель стала одним из первых рабочих примеров генеративной ИИ-модели, которая совершенствуется путем обучения на существующих данных.

Причем, как отмечается в комментарии Шведской академии, «Хинтон и его коллеги показали, что в отличие от предыдущих архитектур машинного обучения машины Больцмана могут обучаться и извлекать закономерности из больших массивов данных. Этот принцип в сочетании с большими объемами данных и вычислительной мощностью привел к успеху многих современных систем искусственного интеллекта, таких как инструменты распознавания образов и языкового перевода».

Далее в комментарии уточняется: «Несмотря на то что машина Больцмана оказалась достаточно функциональной, она была неэффективной и медленной, поэтому в современных системах она не используется. Вместо нее применяются более быстрые современные архитектуры машинного обучения, такие как трансформаторные модели, на которых построены такие крупные языковые модели, как ChatGPT».

Джеффри Хинтон также позднее фактически стал одним из главных катализаторов взрывного роста технологий машинного обучения: в 2006 году он и его коллеги Саймон Осиндеро, Йи Хути Те и Руслан Салахутдинов разработали улучшенный метод предварительного обучения сети с помощью серии машин Больцмана, расположенных слоями один на другом. Такое предварительное обучение позволило создать лучшую отправную точку для связей в сети, что существенно оптимизировало процесс ее обучения распознаванию элементов на картинках. И в 2012 году Хинтон и его коллеги выиграли престижнейший конкурс ImageNet — ежегодное соревнование, в котором программам распознавания объектов предлагается классифицировать тысячи изображений, — используя нейронную сеть, которая вдвое сократила количество ошибок, вынося неверные решения всего в 15% случаев.

С 2013 по 2023 год Хинтон работал в корпорации Google, непосредственно курируя ее блок по технологиям машинного обучения, и даже дослужился там до должности вице-президента. Однако в прошлом году он из Google ушел, аргументировав свое решение тем, что хочет «более свободно говорить об опасностях технологии, которую он помог создать».

Эту свою принципиальную позицию Хинтон в очередной раз публично выразил и во время видеоконференции 8 октября: по его словам, его очень беспокоит, что общим следствием дальнейшего развития ИИ-технологий могут стать системы, обладающие большим интеллектом, чем люди, и в итоге эти системы возьмут все под свой контроль.