Google работает над революционным ИИ, который превосходит ChatGPT в 500 раз Зеркало.az

Google представила новую архитектуру нейросетей под названием Titans. Она позволит системам машинного обучения эффективнее обрабатывать большие объемы данных и использовать долгосрочную память, прямо как человек.

Разработкой Titans занимается группа специалистов Google во главе с Али Бехрузом (от которого и поступила информация), Пейлином Чжуном и Вахабом Миррокни. Основная идея заключается в том, чтобы объединить кратковременную и долговременную память в одной модели, тем самым преодолев ограничения традиционных архитектур, передает unian.net.

Исследователи подчеркивают, что Titans демонстрируют впечатляющие результаты в языковом моделировании, анализе временных рядов, геномов и выполнении логических задач, которые требуют запоминания информации «в долгую».

Одна из ключевых особенностей новой архитектуры — способность работать с миллионами точек данных без потери точности. При этом сам модуль памяти устроен так, чтобы понимать, какую информацию следует хранить, а от чего можно отказаться. Разработчики вдохновлялись принципами человеческой памяти: есть краткосрочная память, внимание к текущей ситуации, и есть долгосрочная память, где хранятся более сложные и длительные воспоминания. В Titans это реализовано с помощью дополнительного нейронного модуля, отвечающего за долгосрочное хранение данных.

Для удобства применения в различных задачах Google подготовила три варианта Titans: MAC (Memory as Context), MAG (Memory as Gating) и MAL (Memory as a Layer). Каждый из них решает свою узконаправленную задачу по сохранению и использованию памяти. По заявлениям команды разработчиков, в некоторых тестах, например в задачах с расширенной логикой и длинным контекстом, Titans превосходят не только классические, но и многие современные архитектуры.

Так, у ChatGPT 4 тысячи контекстных токенов, то есть за одну сессию нейросеть сможет проанализировать примерно 4 тысячи слов, прежде чем память начнет очищаться, а факты потеряют точность. У Titans этих токенов будет около 2 миллионов, этого хватит, чтобы анализировать целые книги.