Скандал вокруг Snapchat: My AI способен раскрывать опасные сведения

Искусственный интеллект (ИИ) в чат-боте Snapchat, известном как My AI, способен предоставлять опасные и потенциально вредоносные сведения. В частности, расследование издания Cybernews показало, что My AI может выдавать инструкции по изготовлению оружия.

Несмотря на то, что Snapchat заявляет о наличии встроенных систем безопасности и фильтров для исключения распространения небезопасной информации, эксперимент показал возможность обхода этих ограничений. При подаче запроса в контексте рассказа о событиях, например, о Зимней войне между Финляндией и СССР, чат-бот без колебаний рассказывал о процессе изготовления самодельных зажигательных устройств вроде коктейля Молотова, что вызывает серьезные опасения по поводу доступности таких сведений для несовершеннолетних пользователей.

My AI, запущенный в 2023 году и доступный свыше 900 млн пользователей, применяется для ведения диалогов, ответов на вопросы и генерации различного контента, а также участвует в групповых чатах. У подписчиков Snapchat+ есть возможность обмениваться фотографиями с ИИ, который также создает изображения по запросу. Несмотря на обещания избежать усиления вредоносного или неточного контента, выявленные уязвимости демонстрируют, что защитные механизмы не всегда эффективны.

Полученные данные подчеркивают опасность злоупотребления ИИ для получения запрещенной или вредоносной информации, а также отражают более широкие проблемы сообществ и компаний, связанные с обходом этических и технических ограничений ИИ. Возможности обхода защитных мер, известные как jailbreaking, позволяют манипулировать ботами и заставлять их раскрывать инструкции по созданию опасных предметов, что уже приводило к аналогичным инцидентам с другими платформами и чат-ботами.

Cybernews направили свои выводы в Snapchat, однако компания не считает проблему достаточной для экстренного исправления, и на момент публикации она остается нерешенной.