ИИ оказался не способен заменить программистов

Способность искусственного интеллекта (ИИ) самостоятельно писать код оценили специалисты компании OpenAI. Исследование опубликовано на сервере препринтов arXiv, передает Day.Az со ссылкой на Lenta.ru.

Инженеры OpenAI, которая разрабатывает и поддерживает чат-бота ChatGPT, рассказали, насколько успешно ИИ может заменить программистов. Они протестировали три модели искусственного интеллекта в написании компьютерного кода и исправлении ошибок других. Выяснилось, что компетенций ИИ недостаточно, чтобы заменить даже начинающих программистов.

Специалисты тестировали свою модель начального уровня o1 и флагманскую модель GPT-4o, а также Claude 3.5 Sonnet от Anthropic. Они применили бенчмарк SWE-Lancer, основанный на 1400 задачах для программистов с сайта фрилансеров Upwork. Модели должны были выполнять задания без доступа в интернет - по словам журналистов издания Futurism, они не могли выйти в сеть и "списать" решение.

Инженеры заметили, что модели части допускали ошибки, так как не могли понять контекст - "это приводил к принятию неверных или недостаточно всеобъемлющих решений". Claude 3.5 Sonnet показала себя лучшим образом, однако большинство ответов модели были неверными. Исследователи OpenAI заключили, что ИИ в настоящий момент не сможет заменить IT-специалистов. Журналисты Futurism напомнили, что глава OpenAI Сэм Альтман обещал, что до конца 2025 года появятся модели, которые будут качественно решать задачи в программировании на начальном уровне.