Nvidia представила ИИ модель для распознавания речи на 40 языках

Компания Nvidia представила Nemotron 3.5 Transcribe - модель искусственного интеллекта с открытыми весами для распознавания речи, перевода и анализа аудиозаписей.

Как сообщает БР, модель поддерживает 40 языков, включая турецкий, и позволяет обрабатывать аудиозаписи продолжительностью до одного часа. Она также обеспечивает перевод между 31 языком и английским, а на 13 языках способна идентифицировать говорящих.

Nemotron 3.5 Transcribe может обрабатывать записи с участием до восьми человек, в том числе при одновременной речи собеседников. С помощью текстовых инструкций пользователи могут получать расшифровки с указанием говорящих, переводы, краткие итоги обсуждений и ответы на вопросы по содержанию записей.

Модель также поддерживает использование подсказок с профессиональной терминологией, что позволяет адаптировать ее к специализированным задачам, в том числе в медицине.

По данным разработчика, в тесте Open ASR Leaderboard модель заняла первое место среди систем с открытыми весами, показав среднюю долю ошибок распознавания слов на уровне 5,33 процента.

Одновременно Nvidia представила набор данных Granary v2, включающий около 844 тысяч часов аудиозаписей на 48 языках. Он предназначен для обучения и совершенствования моделей распознавания речи.

Nemotron 3.5 Transcribe и Granary v2 доступны на платформе Hugging Face. Компания также предоставляет инструменты для дообучения модели с учетом специфики отдельных отраслей.

Разработчик отмечает, что точность работы зависит от языка и качества записи. Модель предназначена для анализа готовых аудиофайлов, а не для обработки речи в режиме реального времени.