Пока непонятый усилитель разума

В конце апреля был объявлен прием абитуриентов на программы бакалавриата и магистратуры на факультет искусственного интеллекта МГУ. Деканом факультета назначен Иван Оселедец — один из ведущих специалистов в области ИИ в России, доктор физико-математических наук, профессор РАН, лауреат Премии Президента РФ в области науки и инноваций для молодых ученых за 2022 год, генеральный директор Института AIRI. Одна из важнейших целей этого института, как сказано на его сайте, — прогресс в решении основополагающих проблем машинного обучения и создание принципиально новых алгоритмов, способных к познанию окружающего мира. Иван Валерьевич также преподает в Сколтехе и ведет научную деятельность в Институте вычислительной математики РАН.

Представляя свой факультет, Иван Оселедец сказал: «Искусственный интеллект теоретически способен решать задачи, с которыми человечество пока не справляется: поиск лекарств, создание новых материалов, снижение стоимости производства энергии. Настоящий прорыв случится, когда ИИ решит одну из этих задач и продемонстрирует измеримый экономический эффект. Надеюсь, это произойдет при участии наших студентов».

Мы встретились с Иваном Валерьевичем, чтобы обсудить перспективы возглавляемого им нового факультета и развития самого ИИ.

— Каковы основные направления вашей работы в области искусственного интеллекта? Почему выбраны именно они и о каких результатах вы могли бы рассказать?

— Я занимаюсь искусственным интеллектом с 2014 года. Хотя у нас в стране нет и не было такой отдельной научной специальности, более того, и компьютерных наук не было. У нас люди, которые занимаются искусственным интеллектом, приходили в эту область из физики или математики. Я тоже занимался и продолжаю заниматься линейной алгеброй и вычислительной математикой в Институте вычислительной математики Российской академии наук имени Гурия Ивановича Марчука. Тематика моих работ исходно была связана с работой с многомерными массивами данных, тензорами. А потом оказалось, что это действительно очень близко к задачам машинного обучения, аппроксимации функций, к некоторым задачам глубокого обучения.

Это позволяет ускорять и сжимать нейросетевые модели, получая при этом модель поменьше, которая имеет ту же самую точность без серьезного дообучения. Это были мои первые результаты, которые я получил, работая в Сколтехе. И они сейчас неплохо цитируются.

Оказалось, что в некоторых случаях можно не учить большие модели, а потом их сжимать, а сразу учить модели поменьше, например в задачах компьютерного зрения. Наши работы по сжатию дали импульс работам по поиску новых, более компактных архитектур.

Сейчас уже есть несколько тысяч цитирований наших работ. Китайцы даже делают специальные устройства для реализации этих идей. В общем, довольно интересно смотреть, как простая идея о том, как с помощью тензорных разложений сжать нейросети, развивается во что-то большее и уже живет самостоятельной жизнью, становится широкой областью исследований.

Можно сказать, что почти все исследователи в области искусственного интеллекта работают более или менее на одну задачу — как посчитать что-то быстрее и точнее, решить задачу работы с текстами, с картинками. Я всегда пытался фокусироваться больше на математической части исследований ИИ. Мы, например, провели исследование, связанное с применением идей из геометрии для улучшения качества работы алгоритмов машинного обучения. Первой была работа, когда мы применили неевклидову геометрию. На всех этих направлениях выросла сначала большая научная группа, потом лаборатория, а сейчас целый Институт искусственного интеллекта — AIRI. И я, будучи деканом нового факультета, одновременно возглавляю этот научный институт на 270 человек и продолжаю заниматься наукой. Но основная моя работа — управлять 30 талантливыми научными коллективами в составе AIRI, которые занимаются робототехникой, сжатием, нейросетевыми методами прогноза погоды. У нас очень много суперинтересных результатов по генеративному искусственному интеллекту в промышленности. Сейчас мы больше фокусируемся на подходах, которые имеют или потенциально будут иметь практическое внедрение. То время, которое остается на занятие исследованиями, посвящаю более фундаментальным вопросам, таким как интерпретируемость, доверенность, построение более компактных моделей и так далее.

— Когда несколько лет назад я брал интервью у академика Рудакова, он определил искусственный интеллект очень просто: как обучение на прецедентах. А какое бы вы дали определение искусственному интеллекту?

— Да, сложно спорить с людьми, которые начинали этим заниматься, когда таких понятий даже не было. Хотя мне чуть ближе другая формулировка: искусственный интеллект строит модель мира вокруг нас. Ведь прецедент — это то, что мы увидели, и мы пытаемся объединить разные прецеденты в какую-то связанную модель мира. То есть важно не то, что мы обучаемся, потому что обучиться на прецедентах можно, запомнив все, и выдавать формулировки по шаблону. Важно выявить скрытые связи, которые — самое главное — смогут давать нетривиальные прогнозы, особенно в тех случаях, для которых прецедентов еще не было. Это, наверное, самая сложная задача в этой области.

Факультет искусственного интеллекта МГУ

Алексей Таранин

— Как бы вы объяснили, как связан искусственный интеллект с математикой? Некоторые математики говорят, что это просто часть математики.

— Это правда, что искусственный интеллект и алгоритмы искусственного интеллекта можно относить именно к математике. Например, работы по алгоритмам оптимизации, — как нам обучить модель, имея данные, — сводятся к поиску минимума некоторой функции.

В ИИ довольно много статистики, довольно много теории вероятности. Математическая теория искусственного интеллекта — это фактически статистическая теория машинного обучения, как показали советские математики Вапник и Червоненкис. Но вот что интересно: то, что мы называем глубоким обучением, не соответствует этой теории, то есть экспериментальные факты противоречат теории. У нас нет ответа на вопрос, почему модели, которые мы сейчас используем для определения того, что нарисовано на картинках, для работы с текстами, вообще работают. И теории нет. И это одна из таких больших задач — придумать правильную теорию глубокого обучения. А пока есть общее понимание, что такая теория должна быть, но современный аппарат, который у нас есть, не позволяет ее создать. Если у нас будет понятная теория, тогда мы сможем сказать, что мы что-то поняли.

— Виктор Финн, известный российский философ и математик, как раз говорил мне в интервью, что развитие искусственного интеллекта не может идти просто за счет усовершенствования технологий, а требует развития теории, но теории, ориентированной на решение практических задач.

— Это абсолютно верно. Но существует и другая проблема: все развивается очень быстро. Как раньше развивалась наука? Инженер что-то придумает, математика объясняет, а потом строит теорию, которая что-то предсказывает. Следом экспериментаторы находят что-то, что не описывается этой теорией, и начинается новый этап. Таким образом ученые могли накопить массив экспериментальных данных.

Сейчас скорость накопления экспериментальных фактов в разы выше скорости развития теории. То есть одни только что все объяснили, а другие уже набрали много новых фактов, которые не соответствуют разработанной теории. Из-за этого теория никуда не успевает. Сейчас выходят работы, которые часто объясняют результаты пятилетней давности, но это уже никому не интересно. Это не значит, что этого не надо делать, но от практики это очень далеко.

— То есть сейчас невозможно выстроить в области искусственного интеллекта какую-то четкую последовательность научных исследований?

— Ее нет, потому что постоянно получаются новые результаты. Условно говоря, сейчас совсем маленькая моделька дает результаты, которые ChatGPT давала два года назад, и такого же качества. Можно дать ей задачу, и она, как команда продвинутых исследователей, код напишет, эксперименты поставит, все сделает. Это колоссальный прорыв.

— Насколько искусственный интеллект — это именно интеллект в человеческом понимании?

— Есть такой человек, известный на Западе, Андрей Карпатый. Он работал в OpenAI, потом некоторое время работал отдельно. У него много интересных интервью. Этот человек придумал термин «вайб-кодинг». Сейчас, когда мы говорим про искусственный интеллект, в первую очередь мы говорим про большие языковые модели — это то, что вызывает наибольший интерес.

Так вот, Андрей Карпатый говорит, что ИИ — это точно некоторый другой тип сознания. Мы привыкли, что интеллект бывает только у человека и он должен быть именно такого типа. Языковые модели в чем-то похожи на человеческий интеллект, в чем-то сильно отличаются, но в целом можно сказать, как мне кажется, что это интеллект, просто другого типа. Человеческий интеллект — это результат развития в ходе обучения человека, по ходу его деятельности. Ему пришлось решать очень много задач в процессе обучения. Языковая модель обучается по-другому. Тогда почему мы считаем, что то, что мы должны получить в результате ее обучения, должно быть тем же самым? Искусственный интеллект надо изучать как отдельную сущность, которая может обладать некоторыми иными, чем человеческий мозг, свойствами.

Общение со многими современными моделями сложно отличить от общения с человеком, если не пытаться специально сделать это. А по многим параметрам они его превосходят. Есть даже эмпатичные модели, к которым люди привязываются. С одной стороны, есть модели, которые решают сложные математические задачи. С другой — были эксперименты, когда люди задавали моделям простейшие вопросы, на которые ответил бы четырехлетний ребенок, а модели не смогли.

Иван Оселедец — один из ведущих специалистов в области ИИ в России, доктор физико-математических наук, профессор РАН, лауреат Премии Президента РФ в области науки и инноваций для молодых ученых за 2022 год, генеральный директор Института AIRI

Алексей Таранин

Это некое новое явление, которое достигло достаточно сложного уровня и требует изучения, такого же, грубо говоря, как изучение нашего человеческого интеллекта и взаимодействия с ним. На самом деле мы не понимаем, почему они так работают. То есть мы нашли способ строить такие системы, но как это перемножение матриц внутри пришло к такому результату? Что там внутри происходит? Сделать простую ментальную картинку достаточно трудно.

— Известный физик-теоретик Сабина Хоссенфельдер недавно в одной из своих статей написала, что искусственный интеллект может погубить науку, потому что он лишает людей, которые применяют его в науке, когнитивного устремления. Оказывается, не нужно думать, можно просто загрузить машину.

— На самом деле никто этого не знает. Попадая в ситуацию экстраполяции, человеческий мозг пытается спроецировать ее на свой предыдущий опыт, не находит этого и начинает выстраивать апокалиптические картинки. Я хорошо помню, как с появлением телевизора все говорили: «Ничего не останется — ни кино, ни театра, все будут только в телевизор смотреть». Все выжило.

Что точно останется — это критическое мышление. И оно становится существенно более сложным, когда ChatGPT выдает огромное полотно текста. Я-то могу его проанализировать, а неопытному человеку тяжело в огромном полотне текста найти нестыковки. Есть у ИИ очевидные плюсы и минусы.

В науке на сто процентов ИИ будет играть огромную роль. Есть множество научных задач, которые мы не знаем, как решать. Начиная с термоядерного синтеза и квантовых компьютеров и заканчивая новыми лекарствами, которые создаются по пятнадцать лет. Поэтому я считаю, что появление новых инструментов должно привести к колоссальному ускорению исследований в некоторых областях. Я не верю, что наука исчезнет, но она очевидно изменится. И ученым придется менять свой привычный уклад.

К примеру, сегодня каждый день выходят сотни тысяч научных статей, ни один человек не может прочитать их все. А как работает ИИ? Я беру статью, отправляю ее в машинку. Она выдает пять строчек, где написано, что примерно есть в этой статье. Если мне интересно, я дальше почитаю весь материал. Усиливает ли это мои когнитивные возможности? Конечно. Поэтому я как раз считаю, что ИИ — это мощный усилитель способностей.

— Насколько, на ваш взгляд, развитие искусственного интеллекта в России соответствует вашему представлению о достойном уровне развития этой науки?

— Всегда хочется больше. Тем не менее наше государство инвестирует в центры искусственного интеллекта. Сегодня они созданы на базе Сколтеха, МФТИ, Высшей школы экономики, ИТМО, университета Иннополис, Института системного программирования РАН и МГУ. То есть сейчас действуют семь центров искусственного интеллекта.

— А ваш институт?

— Наш институт — частный, финансируется крупной компанией. Плюс, конечно, есть достаточно много IT-компаний. Наш уровень прикладного искусственного интеллекта в ряде областей очень неплох. Есть, например, такая компания Vision Labs, которая является лидером в технологии распознавания лиц. Они вообще в мире были в первых рядах, да и сейчас входят в список лучших по своему профилю. Тот же «Бош» во все свои системы встраивал российскую технологию именно по распознаванию лиц. Сейчас у них 30–40 процентов от международной выручки, несмотря на все санкционные давления. В медицине у нас ИИ очень неплохо развит. В Москве в каждой поликлинике работают несколько нейросетей. Это немыслимо для большинства стран.

Если говорить про большие модели, то здесь мы отстаем, потому что позже начали и у нас меньше вычислительных ресурсов. Закупать графические карты становится все труднее. Тем не менее у нас есть свои модели — и у Сбера, и у «Яндекса». Не так много стран, которые обучают свои модели, и мы среди них.

Если говорить про публикации, их лет десять назад вообще не было. Сейчас их стало, я думаю, порядка трехсот-четырехсот. Например, в мае в Бразилии прошла конференция ICLR, у AIRI было 32 работы, у «Гугла» было где-то в пять раз больше, но я считаю, что это в целом неплохо. А номер один по публикациям сейчас китайцы. Мы где-то на седьмом-восьмом месте.

Иван Оселедец

Алексей Таранин

— Теперь к вашему новому занятию, к факультету. Какие цели вы перед ним ставите? Даже не перед факультетом, а перед своими учениками? Это развитие теоретических основ или практическая реализация?

— История создания факультета очень простая. Мы понимаем, что в России много топовых вузов, где хорошо готовят ребят. В МГУ это и мехмат, и ВМК, и физфак, есть и другие вузы — Высшая школа экономики, Физтех, который я заканчивал. Но у всех есть общая проблема: современные образовательные программы настроены немного на другую скорость. У нас вначале даются базовые дисциплины: линейная алгебра, математический анализ. Где-то рядом стоит программирование, потом где-нибудь появится машинное обучение.

Что происходит на практике? Ребят уже где-то на втором курсе начинают привлекать крупные IT-компании. Многие из них идут работать. Там требуются высокие практические навыки. И в итоге происходит глобальный разрыв между теорией, практикой и инструментами, то есть программированием. И даже если говорить про преподавание математики целиком, ее программа не менялась тридцать лет. Я разговаривал со Стасом Смирновым, филдсовским лауреатом. Он пытается модифицировать программу преподавания даже чистой математики. Ее надо менять. Поэтому когда появилась возможность сделать отдельный факультет, у нас уже была концепция. Состоит она в том, что фундаментальным вещам нужно учить одновременно с программированием, чтобы вырабатывать связи: не только с матрицами на листочке работать, но и с ними же на компьютере, показывая, что у этой фундаментальной вещи есть связь с реальными вещами, то есть создать интегрированную, программистко-фундаментальную историю.

Я проверил это на своем курсе линейной алгебры, который я прочитал в прошлом году на Физтехе на первом курсе. Раньше я читал его в магистратуре. А что было бы, если талантливым ребятам прочитать это на первом курсе? Оказалось, что они прекрасно все это воспринимают. То есть они готовы уже на первом курсе это воспринять в том объеме, в каком воспринимали товарищи на пятом курсе. Потому что на пятом курсе студенты прошли кучу всего и забыли уже, что было на первом. А мы хотим взять супертолковых ребят и объяснить им, зачем нужны те же матрицы. Плюс, конечно, мы будем достаточно рано внедрять элементы проектной работы, так как все наши преподаватели — представители активно работающих научных команд.

И вокруг этого мы и будем строить нашу программу. А цель у нас, конечно, готовить исследователей, которые смогут придумать что-то новое. Исполнителей, да и в целом толковых специалистов прекрасно готовят и в других местах. А вот попытаться подготовить ребят с нестандартным, критическим мышлением, мотивированных на создание новых методов и подходов, которые будут лучше существующих, — в этом и заключается наша задача.

— Я как раз хотел про это вопрос задать. Чем вы будете отличаться от уже существующих центров обучения?

— Мы будем отличаться тем, что всю нашу образовательную программу в рамках утвержденного образовательного стандарта мы пишем с нуля. Мы делаем синтез разных учебников, пишем свои методички. Я бы сказал, что мы делаем экстраполяцию учебного процесса. И мне кажется, что мы знаем, как надо. Наш факультет будет отличаться и образовательной программой, и преподавательским составом, и средним возрастом, и целью, и фокусом — короче, всем. Иначе нет смысла создавать новый факультет.

— А на решение каких задач вы будете ориентировать своих студентов?

— Сейчас одна из основных задач с практической точки зрения — это стоимость обучения разного рода моделей. Они очень большие, очень дорогие и очень неэффективные. С текстами еще как-то можно разобраться, а если мы, например, идем в физический мир, в управление роботами, то там они весьма неэффективны, поскольку нужно гигантское количество данных. Условно, китайцы могут поставить тысячу человек на фабрики, которые там что-то складывают, и камера их снимает, фиксирует их движения, но даже этих данных не хватает для того, чтобы обучить что-то разумное. То есть текущие методы масштабируются, но они страшно неэффективны. И конечно, повышение эффективности — это одно из важных направлений.

— Эффективность применяемых методов?

— Да-да. Если большими мазками, то можно и к Китаю обратиться. У них сильные три направления. Первое — это сильный искусственный интеллект, то есть решение таких задач, которые человечество решать еще не может, например разработка тех же самых лекарств. Второе — повышение эффективности, работа с физическим миром, с роботами. И третье — это искусственный интеллект в науке. Ускорение научных исследований за счет развития методов искусственного интеллекта — это тоже очень важно. Для этого нам нужно будет активно взаимодействовать со всеми факультетами. Понятно, что, если ты делаешь модель, ты делаешь ее для чего-то. У этого должны быть пользователи, потребители и так далее. Но вокруг этого будет еще много разных направлений. Есть тематика интерпретируемости — понять, как ИИ работает. То, что мы с вами обсуждали в начале, — это математическая теория.

Сейчас меня лично больше всего интересует вопрос эффективности и архитектуры. У современных архитектур ИИ есть некоторые фундаментальные ограничения, которые обойти нельзя. Для этого нужно придумать что-то новое.

— Новую архитектуру…

— Новые архитектуры, новые способы обучения, новые способы подготовки и обработки данных. Условно, если прибегать к сравнению, то мы строили дирижабли, поняли, что дирижабли можно строить все больше и больше. А потом придумали реактивный самолет, который решает ту же задачу, но быстрее.