Алгоритм BrainBody LLM научил роботов планировать и действовать почти как человек

Исследователи из Инженерной школы Тандона Нью-Йоркского университета представили новый алгоритм BrainBody-LLM, который делает роботов значительно более автономными, позволяя им планировать действия, корректировать движения в реальном времени и учиться на основе обратной связи. Разработка ориентирована на работу в сложных и непредсказуемых условиях, где традиционные робототехнические системы часто дают сбой, передает Vesti.az со ссылкой на Advanced Robotics Research.

До настоящего времени большинство роботов действовали по статическим сценариям или жестко запрограммированным алгоритмам. Даже современные LLM, использующиеся для генерации команд, не учитывали физические ограничения машины, что приводило к ошибкам. BrainBody-LLM устраняет этот недостаток и моделирует взаимодействие мозга и тела по аналогии с работой человека.

Алгоритм состоит из двух компонентов: Brain LLM, который отвечает за стратегическое планирование, и Body LLM, преобразующего высокоуровневые команды в точные действия, задействующие суставы, приводы и сенсоры. Робот постоянно отслеживает собственное положение и состояние среды; при расхождении с планом система возвращает сигнал об ошибке в Brain LLM, что позволяет оперативно корректировать поведение.

«Главное преимущество BrainBody-LLM заключается в замкнутом цикле обратной связи, который обеспечивает динамическое взаимодействие между компонентами и позволяет выполнять сложные задачи надёжно и безопасно», — отметил Винит Бхат, первый автор исследования.

Схема работы BrainBody-LLM показывает, как два уровня LLM взаимодействуют между собой: Brain формирует последовательность действий, а Body выполняет их в среде. Если какая-либо задача оказывается невыполнимой, Body LLM немедленно сообщает об этом основной системе.

Алгоритм был протестирован в симуляторе VirtualHome, где виртуальный робот выполнял бытовые задачи — перенос предметов, открытие дверей, уборку. BrainBody-LLM продемонстрировал увеличение скорости работы до 17 % и заметное снижение ошибок по сравнению с ранее применявшимися методами.

Затем систему испытали на роботизированной руке Franka Research 3. Робот успешно манипулировал объектами разной формы и веса, корректировал траекторию при появлении препятствий и адаптировался к изменениям условий. Эти результаты показывают, что алгоритм позволяет роботам действовать гибко, а не просто следовать заранее прописанным сценариям.

Появление BrainBody-LLM открывает новые возможности для применения роботов в медицине, промышленности и быту. В больницах такие системы смогут выполнять высокоточные операции, в домах — помогать людям с ограниченными возможностями, на производстве — безопасно работать рядом с людьми.

Алгоритм может быть интегрирован с 3D-камерами, датчиками глубины, тактильными сенсорами и системами распознавания объектов. Это позволит роботу ориентироваться в пространстве естественно и безопасно. Исследователи также планируют расширять набор сенсорных данных, добавляя визуальные, тактильные и аудио сигналы для улучшения адаптивности и планирования.

BrainBody-LLM также создаёт основу для роботов, которые учатся на собственном опыте: система может анализировать удачные и неудачные действия, корректируя стратегии выполнения задач. Это важный шаг к созданию по-настоящему автономных машин, способных действовать в динамичной среде и взаимодействовать с человеком.

Сочетание языковых моделей с управлением телом делает робота более внимательным к физической реальности. Алгоритм помогает машине не только получать инструкции, но и «понимать» способы их выполнения. Это меняет подход к робототехнике и открывает новые направления развития в медицине, образовании и промышленности, где критически важны точность, автономность и способность к адаптации.

«Наша работа показывает, что объединение моделей языка и контроля движения позволяет роботам мыслить и действовать почти как человек, адаптируясь к окружению и обучаясь на опыте», — подытоживают авторы исследования.