Ученые объяснили, как распознать текст, написанный ChatGPT

Преподаватели в университете, скорее всего, способны определить, что та или иная работа студента была написана с помощью ChatGPT - и теперь наука объясняет почему.

Как передает Day.Az, хотя искусственный интеллект может имитировать грамматику и структуру, ему не хватает одного фундаментального человеческого качества: способности искренне устанавливать связь с читателем, пишет StudyFinds.

Новое исследование, опубликованное в журнале Written Communication, показывает, что тексты, написанные ChatGPT, представляют собой одностороннюю коммуникацию, лишённую естественной вовлечённости, которую люди инстинктивно вкладывают в свои аргументы.

Исследование выявило, что хотя ИИ способен создавать грамматически правильные и связные академические тексты, он значительно уступает в умении создавать личные, увлекательные тексты, свойственные студентам. Эта разница может объяснять, почему некоторые преподаватели до сих пор без труда распознают работы, написанные ИИ, несмотря на технический прогресс.

"Опасения связаны с тем, что ChatGPT и другие инструменты ИИ могут способствовать списыванию и ослаблять базовые навыки грамотности и критического мышления. Особенно это актуально в условиях, когда у нас пока нет надёжных инструментов для распознавания текстов, созданных ИИ", - говорит автор исследования Кен Хайленд из Университета Восточной Англии.

Как студенты вовлекают читателей

Исследователи обнаружили, что студенческие эссе содержат большее количество и разнообразие приёмов вовлечения, благодаря чему такие тексты получаются более интерактивными и убедительными. В рамках исследования были проанализированы сотни эссе с целью выявить чёткие различия между тем, как люди и ИИ строят аргументацию.

Особое внимание уделялось так называемым "маркерам вовлечения" - риторическим приёмам, которые писатели используют, чтобы установить контакт с читателем, вовлечь его в диалог и направить к определённым выводам. Это те элементы текста, которые создают ощущение, будто автор говорит с вами напрямую или включает вас в ход своих мыслей.

При сравнении 145 текстов, написанных британскими студентами, с 145 эссе, сгенерированными ChatGPT по тем же темам, выяснилось, что студенты использовали более чем в три раза больше приёмов вовлечения, чем ИИ. Они часто задавали вопросы, делали личные отступления и обращались напрямую к читателю, создавая чувство совместного размышления над темой.

Где ИИ проигрывает

Хотя ChatGPT действительно способен создавать технически грамотные тексты, ему трудно даются человеческие элементы убеждения. Модель в основном опирается на фактические утверждения и ссылки на общее знание, но почти не использует личные интонации, делающие академическую аргументацию по-настоящему убедительной, из-за их отсутствия.

Кен Хайленд, профессор с более чем 300 опубликованными работами и 97 000 цитирований, объяснил, что человек при письме осознанно формирует ментальную модель читателя и адаптирует текст под него. ChatGPT, несмотря на впечатляющие возможности, не способен по-настоящему понять свою аудиторию или предугадать возможные возражения без явного запроса.

ИИ полностью избегает использования личных отступлений - кратких отступлений, в которых автор делится собственной мыслью или замечанием. Отсутствие этих элементов создаёт то, что исследователи называют "диалогически закрытым" текстом - он кажется безличным или "пустым".

По мнению авторов, эта особенность проистекает из самой природы обучения ChatGPT, ориентированной на связность и краткость, а не на живой разговор. Также выяснилось, что ChatGPT не прибегает к логическим доводам в построении аргументации, что говорит о его лучшей способности воспроизводить факты, но не разрабатывать сложные идеи или концепции.

Авторы исследования предлагают рассматривать ChatGPT не как угрозу, а как потенциальный обучающий инструмент. Сравнивая черновики, созданные ИИ, с человеческими текстами, студенты могут научиться распознавать и применять эффективные приёмы вовлечения, развивая при этом собственный стиль письма с поддержкой ИИ.