Искусственный интеллект против ругательств: ElevenLabs блокирует пользователей

Компания искусственного интеллекта ElevenLabs, предоставляющая услуги клонирования голоса людям с нарушениями речи, оказалась в центре скандала после жалоб пользователей, которых блокировали за использование якобы неподобающих выражений.

Как сообщает Vesti.az со ссылкой на мировые паблики, люди с заболеваниями мотонейронов, такими как БАС (боковой амиотрофический склероз), со временем теряют возможность говорить. ElevenLabs предлагает им ИИ-инструменты, позволяющие «говорить» их собственными голосами, вводя текст вручную. Однако оказалось, что система модерации компании автоматически блокирует пользователей за определенные слова, даже если они не несут агрессивного или оскорбительного смысла.

Так, жительница Великобритании Джойс Эссер, которая потеряла голос из-за болезни, поделилась историей, как получила бан от ElevenLabs. Она редко использует свой голосовой клон, но иногда включает его ради удовольствия. В один из таких моментов она ждала мужа и, набрав на устройстве фразу «Давай, дорогой, шевели задницей!», услышала собственный голос.

На следующий день ElevenLabs отправила ей предупреждение о нарушении правил, а затем и вовсе заблокировала ее учетную запись. Джойс предположила, что слово «задница» автоматически попало под фильтр, но ожидала, что при модерации с участием человека ошибка будет исправлена. Однако компания не пересмотрела свое решение.

«Я только что вернула себе голос, а теперь они его у меня отняли... и всего через два дня после того, как я сделала презентацию для местной группы MND, рассказав, насколько замечательна ElevenLabs», — возмутилась Джойс.

Позже, после жалобы, ElevenLabs извинилась и восстановила её аккаунт, но так и не объяснила, что именно послужило причиной блокировки

Журналистам удалось выяснить, что в официальных условиях использования ElevenLabs нет запрета на ненормативную лексику. Однако компания оставляет за собой право «прекратить или приостановить» доступ к сервису, если посчитает, что контент нарушает закон или её внутренние условия.

В то же время другой клиент компании, Жюль Родригес из Майами, регулярно использовал голосовой ИИ с фразами вроде «Fuck you guys!», но не получал никаких предупреждений.

Компания признала проблему и заявила, что старается больше не блокировать пользователей за ненормативную лексику.

«Люди, живущие с БАС, должны иметь возможность говорить всё, что у них на уме, даже ругаться. У них есть много поводов для ругательств», — отметил Ричард Кейв из Ассоциации БАС в Великобритании.

Напомним, что в декабре прошлого года ElevenLabs представила новую модель Flash, которая преобразует текст в речь всего за 75 миллисекунд – одну из самых быстрых на рынке. Также компания внедрила функцию создания полноценных голосовых агентов, где можно задавать язык общения, приветственное сообщение и стиль поведения ИИ.

Скандал с блокировкой пользователей показал, что технологии искусственного интеллекта еще далеки от совершенства, а политика модерации требует доработки.