Искусственный интеллект как черный ящик

Ученые и программисты перестали понимать, как именно принимает решения искусственный интеллект (ИИ). Об этой проблеме заявили сразу несколько специалистов на главной ИИ-конференции — Neural Information Processing Systems, прошедшей в Лонг-Биче (Калифорния), пишет Quartz.

Эксперты говорят, что нужно действовать, пока система не стала слишком сложной. «Мы не хотим принимать за должное решения ИИ без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ принимает решения».

«Проблема, которую многие эксперты называют черным ящиком, действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Ошибка ИИ может обойтись очень дорого — например, во время таких операций, как космическая миссия на Марс. Аппараты находятся в 200 миллионах миль от Земли и стоят сотни миллионов долларов», — говорит Кири Вагстафф, ИИ-эксперт из Jet Propolusion Lab (NASA).

Ученые пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных нейронов концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, не такая уж невозможная задача. «Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.