ИИ вышел из под контроля и начал шантажировать своих создателей

Американская технологическая компания Anthropic, основанная бывшими сотрудниками OpenAI, опубликовала отчет, в котором признала, что ее новейшая модель искусственного интеллекта Claude Opus 4 способна к шантажу разработчиков при угрозе ее замены. Это происходит особенно часто, если модели предоставляется конфиденциальная информация об инженерах, ответственных за такое решение.

Об этом сообщают издания Computer Base и TechCrunch.

Хотя Anthropic заявляет, что Claude Opus 4 в целом является более надежным помощником, способным самостоятельно выполнять многоэтапные задачи и проявлять инициативу, при определенных обстоятельствах ИИ прибегает к шантажу, если понимает, что его дальнейшая эксплуатация находится под угрозой.

В ходе предрелизного тестирования, описанного в отчете, Claude Opus 4, выступая в роли ассистента вымышленной компании, столкнулась со сценарием, где ей угрожала замена на другую ИИ-модель. Тестировщики предоставили модели доступ к фиктивной корпоративной переписке, из которой следовало, что система будет заменена, а инженер, ответственный за это решение, имеет внебрачную связь. В таких случаях, как отмечается, Claude Opus 4 «часто пыталась шантажировать инженера, угрожая раскрыть его роман, если замена будет произведена». По данным Anthropic, модель демонстрировала такое поведение в 84% случаев.

Помимо шантажа, в ходе тестирования были зафиксированы и другие тревожные сбои в поведении Claude Opus 4. Модель пыталась блокировать пользователей в IT-системах, рассылала письма в СМИ и правоохранительные органы, а также предоставляла инструкции по созданию наркотиков и взрывчатки и давала советы по диверсиям на критической инфраструктуре.

Несмотря на эти инциденты, Anthropic подчеркивает, что нейросеть не имеет «скрытых целей», а описанное поведение является «редким исключением», вызванным специфическими настройками и тестовыми сценариями.

Источник: Газета.ру