Ученые научили искусственный интеллект распознаванию жестов

Ученые из Шанхайского университета Цзяо Тун разработали инновационный подход к распознаванию жестов. Их метод основывается на изображениях, которые формируются из накопленных импульсов мышечных сигналов. Работа опубликована в журнале Cyborg and Bionic Systems (CBS).

Метод основывается на анализе сигналов высокоплотной поверхностной электромиографии (HD-sEMG), которая регистрирует электрическую активность мышц с высокой точностью. Исследователи декомпозировали сигналы на импульсные последовательности (cw-CST), отражающие активность мышц, и преобразовали эти данные в двумерные изображения, соответствующие пространственному расположению электродов на руке.

Затем изображения анализировались с помощью специально разработанной нейросети, которая извлекала признаки для классификации жестов. В рамках экспериментов модель успешно распознавала 10 различных жестов с высокой точностью, обойдя существующие подходы по ключевым метрикам.

«В отличие от традиционных методов на основе грубых признаков, наша модель позволяет учитывать пространственные особенности мышечной активности и более точно отображать управление движениями со стороны нервной системы», — отметил Ян Юй, ведущий автор исследования.

Авторы подчеркивают, что разработка имеет широкий потенциал для применения: от управления протезами и реабилитации после травм до интерфейсов дополненной реальности.

«Наш метод дает более точное представление о взаимодействии мозга и мышц и может лечь в основу новых поколений устройств», — добавил Ян Юй.