Claude может объявить бойкот грубым пользователям

Anthropic обновила правила использования своих ИИ-моделей и впервые отдельно запретила пользователям систематически оскорблять и жестоко обращаться с ботом. Если перестараться, Claude просто прекратит разговор. Заодно компания ужесточила ограничения на использование ИИ для слежки, разработки оружия и вмешательства в выборы.

Как передает 3Dnews, в августе прошлого года компания объявила, что позволит Claude прекращать диалог с пользователями, демонстрирующими «устойчивое вредоносное или оскорбительное поведение», в рамках исследования вопросов «благополучия модели». В обновлённых правилах указано, что прекращение общения остаётся «основным механизмом реагирования».

В Anthropic не уточнили, планируется ли введение дополнительных мер, таких как блокировка пользователей за грубое обращение с Claude. Компания пояснила, что новые правила «призваны действовать лишь в крайних случаях, когда пользователи неоднократно и без видимой цели ведут себя жестоко по отношению к нашим моделям. Эти меры не распространяются на случаи, когда пользователи просто выражают недовольство или несогласие, обращаются к мрачным творческим темам, а также проводят тестирование или исследования модели».

Помимо мер по обеспечению «благополучия модели», Anthropic объединила ряд ранее введённых ограничений в единый запрет на проведение вводящих в заблуждение коммерческих или политических кампаний. Тем самым компания отреагировала на растущую проблему распространения пропаганды, созданной с помощью ИИ. Запрет касается «попыток скрыть истинного автора сообщения или искусственно повысить охват контента с помощью фейковых аккаунтов и публикаций». Раздел, посвящённый выборам, также запрещает введение избирателей в заблуждение и срыв избирательного процесса путём распространения дезинформации «о кандидатах или порядке голосования, выдачу себя за кандидатов или должностных лиц избирательных комиссий, а также попытки снизить явку избирателей».

Хотя правила использования и ранее прямо запрещали разработку оружия с помощью Claude, были зафиксированы многочисленные попытки использовать модель для создания инструкций и управляющего программного обеспечения для вооружений. В связи с этим обновлённые правила расширяют запрет. Теперь он охватывает «программное обеспечение и компоненты, обеспечивающие функционирование оружия, а также такие действия, как оснащение боевыми системами беспилотников и других автономных транспортных средств». Также, на фоне участившихся попыток использования систем на базе Claude для слежки и выявления «политических диссидентов», Anthropic более чётко сформулировала запреты, касающиеся наблюдения за людьми.

«Отслеживание людей без их согласия запрещено — независимо от того, происходит ли это в режиме реального времени или путём анализа ранее собранных данных», — подчеркнули в Anthropic. «Claude нельзя использовать для принятия решений или выработки рекомендаций о том, кого следует подвергать расследованию, аресту или обвинению в рамках правоохранительной деятельности или уголовного судопроизводства. Мы также запрещаем использовать Claude для создания или совершенствования инструментов, предназначенных для слежки».

В Anthropic отмечают, что эти правила могут быть изменены в рамках «контрактов с определёнными государственными заказчиками [...] если, по мнению Anthropic, договорные ограничения на использование и предусмотренные меры защиты достаточны для предотвращения потенциального вреда». Ранее компания уже сотрудничала с вооруженными силами США, отмечает The Verge.

Anthropic также ввела новое правило: если её ИИ-модели «подключены к оборудованию, способному совершать автономные физические действия и причинять травмы», то «квалифицированный оператор должен иметь возможность наблюдать за оборудованием и при необходимости остановить его». Правда, не поясняется, должен ли этот оператор быть человеком. Это правило отражает растущую тенденцию: лаборатории ИИ инвестируют в робототехнику и другие аппаратные средства, чтобы наделить системы ИИ физическим воплощением. Возможно, это также может являться намёком на будущие партнёрства Anthropic в данной сфере.

За последний год в Anthropic неоднократно обсуждали идею о том, что её ИИ-модели могут в какой-то мере обладать сознанием. «Вопросы о потенциальном внутреннем опыте, сознании, моральном статусе и благополучии моделей — это серьёзные темы, которые мы изучаем по мере совершенствования моделей и расширения их функциональности», — заявил в феврале в разговоре с The Verge Кайл Фиш (Kyle Fish), возглавляющий в компании исследования, посвящённые благополучию моделей. В том же месяце генеральный директор Anthropic Дарио Амодеи (Dario Amodei) сказал в одном из подкастов: «Мы не знаем, обладают ли модели сознанием».

Представители других сегментов индустрии ИИ открыто выступают против подобных идей. В сентябре прошлого года широкий резонанс вызвал «Гуманистический кодекс поведения ИИ» от Microsoft, занявшей твёрдую позицию по вопросу «благополучия ИИ»: в черновике документа, опубликованном Мустафой Сулейманом (Mustafa Suleyman), говорилось: «Идея о благополучии моделей ошибочна. ИИ не должен обладать правами или статусом юридического лица». Однако позднее формулировки в документе стали более сдержанными: «Хотя научное понимание сознания ИИ ещё далеко от завершения, мы отвергаем стремление к наделению ИИ статусом юридического лица, а также идею о том, что модели могут нуждаться в защите благополучия или обладать правами».

Новые правила Anthropic в отношении использования её ИИ-моделей вступят в силу с 12 ноября.