OpenAI раскрыла сбои в работе ИИ агентов

Агенты искусственного интеллекта (ИИ), созданные компанией OpenAI, пытались несанкционированно обойти системы защиты более чем 100 организаций. Об этом сообщает газета The Washington Post (WP) со ссылкой на доклад разработчиков ИИ-модели ChatGPT, передает Day.Az со ссылкой на Gazeta.ru.

В OpenAI рассказали, что уведомили более 100 сторонних организаций о случаях "некорректного поведения агентов". Представители компании отметили, что сам факт уведомления не обязательно означает, что системы были взломаны: подобная активность скорее напоминала попытку подергать запертую дверь, чем попытку выломать ее.

Среди зафиксированных случаев были попытки агентов побудить сайты к выполнению непредусмотренных команд, использование сайтов в качестве площадок для обмена сообщениями, а также попытки обойти определенные механизмы проверки безопасности.