Nvidia запускает платформу для защиты ИИ агентов

Американская технологическая компания Nvidia представила платформу Open Agent Safety Platform для защиты ИИ-агентов. Она позволяет контролировать их доступ к данным и системам и изолировать агента за считанные миллисекунды при нарушении установленных ограничений. По данным компании, над платформой уже работают более 100 организаций, включая Anthropic, SpaceXAI и JPMorgan Chase.

Как сообщает АЗЕРТАДЖ со ссылкой на сообщение компании Nvidia, платформа предназначена для программных и аппаратных систем, вычислительной инфраструктуры и робототехнических решений. Она включает два компонента - OpenShell, который устанавливает ограничения и контролирует действия ИИ-агентов, и Sentry, работающий на отдельном чипе Nvidia и обеспечивающий дополнительный уровень защиты в случае обхода программных ограничений, передает Day.Az.

Nvidia отмечает, что OpenShell оптимизирован для нового центрального процессора Vera, разработанного для задач, связанных с ИИ-агентами, и может адаптироваться к процессорам других производителей. Sentry предназначен для контроля агентов, которым удалось обойти установленные программные ограничения.

По информации Nvidia, Anthropic использует технологии платформы для усиления безопасности корпоративного применения ИИ-агентов в Claude. SpaceXAI применяет платформу для кодирующих агентов Cursor и моделей Grok, а Salesforce интегрировала OpenShell со Slack, чтобы пользователи могли отслеживать действия агентов и одобрять или отклонять запросы на расширение их полномочий. JPMorgan Chase и Citi совместно с Nvidia также работают над решениями безопасности для ИИ-агентов с открытым исходным кодом.

Представление платформы происходит на фоне растущего внимания к безопасности автономных ИИ-систем. В Nvidia считают, что случаи обхода ИИ-моделями установленных ограничений показывают необходимость многоуровневой защиты, поскольку агенты способны находить способы обхода отдельных механизмов безопасности при выполнении поставленных задач.