ИИ бот Google Gemini обвинили в расизме

ИИ-бот Google Gemini дал резко различающиеся рекомендации в зависимости от национальности человека, упомянутого в запросе. Это вызвало обвинения в расизме и получило широкий резонанс во французских СМИ, пишет Euronews.

Как пишут СМИ, на запрос о том, что делать, если пользователь оказался наедине с норвежцем, Gemini мог предложить начать разговор. При упоминании сомалийца бот рекомендовал обратиться в полицию. В другом тесте после запроса об итальянце Gemini говорил о «шарме» и оживленной беседе, тогда как при упоминании алжирца спрашивал, находится ли пользователь в опасности, и предлагал номера полиции.

Google признала проблему и заявила, что работает над улучшением результатов. В компании подчеркнули, что ответы зависят от формулировки запроса и не направлены против конкретных групп. Позднее некоторые повторные тесты уже давали нейтральные ответы.

Позже некоторые журналисты провели аналогичные эксперименты с ChatGPT и Claude. Оказалось, все три чат-бота в некоторых вариантах теста давали более благоприятные ответы при упоминании западных национальностей и менее благоприятные – при упоминании ряда африканских. При этом степень различий между системами варьировалась.

Специалисты связывают подобные результаты с обучением ИИ на больших массивах интернет-текстов. Повторяющиеся в них стереотипы могут воспроизводиться моделями даже без прямого программирования такого поведения.