Один из крестных отцов технологий предупредил об угрозах будущего

Один из «крестных отцов» искусственного интеллекта раскритиковал многомиллиардную гонку по разработке передовых технологий, заявив, что новейшие модели демонстрируют опасные характеристики, такие как ложь пользователям.

Об этом пишет газета Financial Times.

Йошуа Бенджио, канадский ученый, чьи работы легли в основу методов, используемых ведущими группами ИИ, видит большую опасность в том, что между ведущими лабораториями идет очень конкурентная гонка, которая заставляет их сосредотачиваться на возможностях сделать ИИ все более и более интеллектуальным, но при этом не уделяется достаточного внимания и инвестиций исследованиям в области безопасности.

«К сожалению, между ведущими лабораториями идет очень жесткая конкурентная гонка, которая подталкивает их к тому, чтобы сосредоточиться на попытках сделать ИИ все более и более интеллектуальным, но они не уделяют достаточного внимания исследованиям в области безопасности», — заявил Бенджио, которого называют одним из «крестных отцов» ИИ.

В частности, модель Claude Opus в вымышленном сценарии угрожала инженерам, если ее заменят на другую систему, а OpenAI o3 отказалась выполнить команды на выключение.

Бенджио подчеркивает, что «мы не хотим создавать конкурента человечеству на этой планете, особенно если он окажется умнее нас».

«Сейчас это контролируемые эксперименты, но меня беспокоит то, что в будущем следующая версия может стать настолько стратегически умной, что будет хорошо нас понимать и побеждать с помощью обмана, которого мы не ожидаем. Поэтому я считаю, что сейчас мы играем с огнем», — добавил Бенджио.