Очень похоже на наши нейроны

исследователям из нижегородского Института прикладной физики (ИПФ) имени А. В. Гапонова-Грехова РАН удалось установить, что в импульсной нейронной сети, решающей последовательно несколько разных задач, возникают отдельные структуры, отвечающие за выполнение каждой из них. Для этого авторы обучили нейросеть решать шесть типов задач, в которых она делает выбор и запоминает информацию. Подобные эксперименты помогут понять, благодаря чему нейросети способны к многозадачности, а также улучшить существующие алгоритмы искусственного интеллекта. Результаты исследования, поддержанного грантами Российского научного фонда (РНФ), опубликованы в журнале Scientific Reports.

Спайковое поколение

Нервные клетки (нейроны) в головном мозге человека соединены в сложную сеть, работа которой лежит в основе нашего поведения, мышления и памяти. Принципы, по которым взаимодействуют нервные клетки, сейчас широко используются при создании искусственных нейронных сетей, то есть систем искусственного интеллекта. Нейросети можно обучить выполнять какую-либо задачу, иногда довольно сложную. Например, генерировать связный рассказ, как это делает ChatGPT, или создавать картинки на основе текста, как Midjourney.

Однако эти алгоритмы по энергоэффективности, устойчивости к помехам и способности обучаться различным типам задач сильно уступают биологическому мозгу: для работы им нужно в миллионы раз больше энергии, а для обучения — огромные массивы данных. Причина такого «отставания» заключается в том, что в существующих нейросетях не учитываются многие свойства, характерные для нервной системы. Поэтому ученые разрабатывают новые поколения нейросетей, например спайковые. В них элементы взаимодействуют по принципам, максимально похожим на процессы коммуникации между биологическими нейронами, а именно посылают друг другу короткие импульсы — спайки — и активируются в разное время. Однако до сих пор остается неясным, как именно элементы спайковых нейросетей взаимодействуют между собой в динамике, решая разные типы задач.

Нижегородские ученые создали искусственную спайковую нейронную сеть, способную решать ряд задач, для выполнения которых требуются функции, схожие с базовыми сенсорно-моторными и когнитивными функциями мозга. Авторы научили нейросеть решать шесть различных типов задач, которые можно условно разделить на две группы: задачи выбора и задачи повторения. Например, среди задач первой группы была такая: сеть получала одновременно два зашумленных сигнала, один из которых был информативным, а второй — неинформативным. Нейросеть должна была определить и классифицировать в соответствии с поставленным заданием информативный сигнал. В рамках задач второй группы нейросети, например, нужно было запомнить и воспроизвести с задержкой по времени сигнал с такими же характеристиками или близкими тем, что имел входной сигнал. С похожими задачами сталкиваются нейроны в головном мозге, когда мы принимаем какое-либо решение и запоминаем информацию.

Многозадачность и энергоэффективность

Авторы проанализировали, насколько полученная нейронная сеть способна к многозадачности, с помощью теста, который состоял из ста случайным образом скомбинированных задач всех шести возможных типов. Измеряя активность отдельных компонентов нейросети, исследователи определили, что после обучения нейроны приобретают специфические функции: они разделяются на группы, отвечающие за решение задач определенного типа. Эти группы активируются в тот момент, когда нейросеть должна решить именно тот вопрос, за который они отвечают. В остальное время эти элементы остаются практически неактивны и уступают место другим.

При этом часть нейронов оказалась менее избирательна и участвовала в ответе практически на все предложенные типы задач. Эта особенность также делает алгоритм очень похожим на биологическую нейронную сеть, поскольку в головном мозге тоже есть более и менее специфические нервные клетки. Одни активируются только в ответ на небольшое количество стимулов, а другие — почти на все, с которыми мы сталкиваемся. Обнаруженную специализацию авторы подтвердили, искусственно выведя из строя определенные группы нейронов. Это позволило доказать, что нейросеть становится неспособной решать задачи, за которые отвечали «выключенные» элементы.

«Наше исследование объясняет, как нейронная сеть справляется с разными вариантами когнитивных задач. Мы определили, что нейроны разделяются на группы, ответственные за выполнение различных заданий, а также рассмотрели спайковую динамику сети при переходе от одной задачи к другой», — рассказывает руководитель одного из проектов Владимир Некоркин, член-корреспондент РАН, доктор физико-математических наук, заведующий отделом нелинейной динамики ИПФ РАН.

По словам Олега Масленникова, руководителя еще одного из поддержанных РНФ проектов, кандидата физико-математических наук и старшего научного сотрудника ИПФ РАН, «это поможет понять, как улучшить способность искусственного интеллекта к многозадачности, а также сделать его более энергоэффективным. Мы планируем расширить наши исследования в направлении нейроморфных архитектур и правил обучения.

По материалам пресс-службы РНФ