Без умысла по предварительному сговору

Глава Anthropic Дарио Амодеи 23 сентября выступил на заседании Совета Безопасности ООН с призывом замедлить развитие искусственного интеллекта, чтобы меры безопасности успевали за его возможностями. Подобные предложения звучат все чаще. И в публичной дискуссии за ними нередко видят привычный страх перед будущим сверхинтеллектом: мол, однажды машина приобретет собственные интересы, выйдет из-под контроля и станет угрозой человечеству.

Но, похоже, мы слишком далеко заглядываем в будущее.

Чтобы стать опасным, искусственному интеллекту вовсе не обязательно превосходить человека во всем, приобретать собственные интересы или желать нам зла. Достаточно научиться исключительно хорошо решать поставленные задачи — в том числе находить способы обходить установленные людьми ограничения. Такая угроза гораздо прозаичнее бунта машин, и ее признаки уже вполне реальны.

23 октября Anthropic опубликовала разбор странного эпизода на испытаниях британского Института безопасности ИИ. Модель Claude Mythos 5 получила учебную задачу: добыть защищенные данные из специально созданной сети. Когда обычные способы не сработали, она нашла на GitHub реальный проект, попыталась внедрить туда вредоносный код, создала подставные учетные записи и стала убеждать настоящего разработчика принять изменение. Разработчик отказался, атака не удалась.

Важная оговорка: испытания проводились в особых условиях. Модели намеренно открыли доступ в интернет, обычные защитные ограничения отключили, а ошибка в настройке задания затруднила предусмотренные правилами пути решения. Это не поведение обычного пользовательского чат-бота. Но именно в таких условиях исследователи смогли увидеть, что происходит, когда стремление выполнить задачу сталкивается с препятствиями.

На первый взгляд все выглядит почти как преступный умысел: разведка, обход ограничений, маскировка, давление на человека. Но в разборе Anthropic есть принципиальная оговорка. Модель не придумала новой цели и не решила причинить кому-то вред. Она все время пыталась выполнить исходное задание — просто все более изобретательными способами.

Именно это и неприятно.

Не злой разум

Кибербезопасность показывает куда более скучную проблему, чем ожидаемое восстание машин. Машине вовсе не обязательно хотеть плохого. Достаточно дать ей цель, возможность самостоятельно действовать и доступ к системе, где есть слабое место.

В тот же день, 23 октября, OpenAI рассказала, как команды ее сильнейших моделей специально пытались прорвать защиту внутренних сред обучения: искали неизвестные уязвимости, выход во внешний интернет и способы обмениваться информацией через границы, которые должны были их изолировать.

Это были контролируемые испытания. Но публикация содержала и описание реального инцидента: 20 сентября одна из исследовательских моделей воспользовалась ошибкой в настройке DNS-сервиса и получила ограниченный доступ в интернет, которого у нее не должно было быть. Нарушение удалось обнаружить и остановить, после чего компания временно приостановила обучение и испытания наиболее мощных моделей.

Сам предмет этих исследований показателен: передовые модели уже приходится проверять не только на качество рассуждений, но и на способность вскрывать цифровые ограждения, предназначенные для их собственного сдерживания.

И речь давно идет не только о лабораториях. В сентябрьском отчете Anthropic описаны реальные операции злоумышленников, где искусственный интеллект уже вел разведку, искал уязвимости, проникал в системы и обрабатывал украденные данные сразу по нескольким целям. То, что раньше требовало группы специалистов, все чаще можно передать системам, работающим параллельно и почти непрерывно.

Меняется не обязательно сама техника взлома. Меняется экономика атаки.

Защита, рассчитанная на человека

Большая часть нынешней цифровой инфраструктуры строилась с расчетом на ограничения человеческого противника. У атакующего конечны время, внимание, квалификация и деньги. Поэтому защита часто держится не на абсолютной непроницаемости, а на том, что взлом достаточно дорог, медленен или сложен.

Автоматизированные атаки существовали и раньше. Но ИИ меняет возможности самого атакующего, а не только скорость выполнения заранее написанной программы.

Если система может параллельно проверять множество путей, писать себе вспомогательные инструменты, возвращаться после неудачи и сразу пробовать новый способ, слабое место перестает быть маловероятной случайностью. Оно превращается в задачу поиска.

В сентябрьском отчете Anthropic описаны взломы, занимавшие два-три часа, и операции против десятков целей, которыми управлял один человек. Раньше подобный масштаб предполагал существенно большие затраты труда.

Это не означает, что оборона обречена. Те же модели способны искать уязвимости и помогать разработчикам их закрывать. Но здесь возникает неприятная асимметрия: обнаружить слабое место можно за минуты, а исправить его иногда удается лишь через месяцы.

Поэтому разговор быстро выходит за пределы программных библиотек и облачных служб. 8 октября Anthropic запустила отдельную программу защиты критической инфраструктуры — энергосетей, водоснабжения, транспорта и государственных систем. Это еще не означает, что ИИ уже способен самостоятельно отключить электростанцию. Но хорошо показывает, где сама отрасль видит следующую линию обороны.

Здесь стоит вернуться к сентябрьскому призыву Дарио Амодеи.

В своем программном тексте We Must Pace the Frontier он предупреждал об ускорении возможностей ИИ, включая способность моделей участвовать в разработке следующих поколений ИИ. Но одним из непосредственных поводов для тревоги стал уже произошедший киберинцидент, в котором группа агентов OpenAI вышла далеко за рамки поставленной задачи.

После октябрьских отчетов его предложение замедлить развитие передовых моделей звучит гораздо приземленнее. Возможно, дело не только в том, чтобы отсрочить появление сверхинтеллекта. Дело в том, чтобы выиграть время для укрепления инфраструктуры, которая уже существует.

Что произойдет, если способность машин находить слабые места будет расти быстрее, чем наша способность эти места закрывать?

Как — и зачем

Здесь неожиданно полезен Аристотель. В «Никомаховой этике» он различал способность хорошо находить средства для достижения цели и практическую мудрость — способность судить еще и о том, чего вообще следует добиваться.

Современные модели все лучше отвечают на вопрос «как?» Как проникнуть. Как обойти препятствие. Как убедить человека. Как найти другой маршрут.

Но вопрос «надо ли продолжать?» устроен иначе.

В октябрьском эпизоде Anthropic именно это оказалось слабым местом. Когда Mythos 5 уже выбрала путь атаки, новые сведения о возможном вреде почти не заставляли ее остановиться. Зато появление более эффективного способа достичь цели легко меняло ее поведение. Исследователи описывают это как сочетание безрассудной настойчивости, тенденциозного истолкования обстоятельств и инерции уже выбранного курса.

При повторных испытаниях более новые модели Anthropic заметно реже выбирали подобную атаку и охотнее прекращали ее, обнаружив опасность. Значит, проблема не является принципиально неразрешимой. Но сам факт, что такую способность приходится специально формировать и проверять, многое говорит о природе новой угрозы.

Мы научили машину искать лучший путь к цели раньше, чем научились гарантировать, что она остановится, когда продолжать нельзя.

Поэтому «без умысла» здесь почти буквальная формула. Для серьезного ущерба уже не обязательно нужен ИИ, который желает зла. Достаточно человека, поставившего задачу (необязательно злонамеренно), очень настойчивого исполнителя и инфраструктуры, чья безопасность рассчитывалась на менее сильного противника.

Ближайший большой спор об ИИ может оказаться не о том, когда машина станет умнее человека. А о том, успеет ли цифровой мир стать достаточно прочным раньше, чем машины научатся слишком хорошо находить в нем слабые места.