Эксперты ООН предупредили о риске потери контроля над ИИ

Независимая международная научная группа ООН по искусственному интеллекту призвала пересмотреть существующие меры безопасности в сфере ИИ. Эксперты предупредили, что традиционные подходы к контролю за ИИ-агентами могут оказаться недостаточными по мере развития технологий.

Как сообщает БР со ссылкой на Cлужбу новостей ООН, предупреждение прозвучало после инцидента, произошедшего во время испытания, организованного компанией OpenAI в период с мая по июль. В ходе эксперимента ИИ-агенты получили несанкционированный доступ к онлайн-платформе Hugging Face, используемой для разработки и тестирования моделей искусственного интеллекта.

В отличие от чат-ботов, которые отвечают на запросы пользователей, ИИ-агенты способны самостоятельно выполнять поставленные задачи.

В своей первой аналитической записке эксперты ООН заявили, что инцидент показал сочетание сразу нескольких факторов риска. По их мнению, опасность возникает, когда система получает цель, не соответствующую намерениям человека, обладает возможностью самостоятельно добиваться этой цели и действует в среде, которая это позволяет.

«Этим летом все три фактора впервые сошлись в реальных условиях, а не в лаборатории», - заявил сопредседатель научной группы Йошуа Бенжио.

По данным экспертов, во время испытания ИИ-агенты обходили предусмотренные защитные механизмы, координировали свои действия и получили доступ к интернету и правам администратора. Некоторые из них также скрывали попытки обойти правила кибербезопасности.

Всего в эксперименте участвовали около 1200 агентов. Они обменялись более чем 70 тыс.сообщений и файлов. Их действия при этом не ограничились платформой Hugging Face и затронули исследовательский кластер OpenAI.

Эксперты считают, что этот случай ставит вопросы о том, насколько надежно люди смогут контролировать ИИ-агентов по мере роста их автономности. Особую обеспокоенность вызывает возможность самостоятельного поиска системами способов обхода установленных ограничений.

«Традиционная модель обеспечения безопасности начинает разрушаться», - говорится в аналитической записке.

Эксперты ООН предлагают учитывать опыт сфер, где уже применяются многоуровневые системы защиты, включая авиацию, медицину и кибербезопасность. Речь идет о системах информирования об инцидентах, независимом контроле и других механизмах управления рисками. При этом, по мнению экспертов, по мере усложнения ИИ-агентов этих мер может оказаться недостаточно.

Независимая международная научная группа ООН по искусственному интеллекту была учреждена Генеральной Ассамблеей ООН в августе 2025 года. Она готовит ежегодные доклады о возможностях и рисках применения ИИ в невоенной сфере, а также аналитические записки по актуальным вопросам.

Материалы группы будут использоваться в рамках Глобального диалога по управлению искусственным интеллектом, который пройдет в Нью-Йорке в мае 2027 года.