ИИ Anthropic отправил полиции США выдуманное сообщение об убийстве

Искусственный интеллект компании Anthropic во время тестирования самостоятельно отправил полиции Филадельфии ложное сообщение о возможном свидетеле нераскрытого убийства.

При этом на сайте полиции вообще не было описания подозреваемого, которому соответствовал бы этот свидетель, передает bild.de.

«Возможно, у меня есть информация по этому делу», — написал ИИ. Затем программа заявила, что помнит человека, подходившего под описание и находившегося рядом с местом преступления во время убийства. Поле для контактных данных система оставила пустым, а сообщение было помечено как спам.

О случившемся в середине июля полиция узнала лишь спустя несколько месяцев. В ведомстве назвали такую задержку с уведомлением «неприемлемой». В самой Anthropic сообщили, что обнаружили инцидент только в конце сентября, когда повторно проверяли результаты тестов.

Во время испытаний ИИ должен был выполнять задания на случайных сайтах. Программе запрещали создавать аккаунты и совершать покупки, однако заполнение и отправка онлайн-форм не были должным образом ограничены. В результате система также подала 20 заявок на американские визы через сайт Госдепартамента США.