Microsoft представила открытый стандарт для контроля ИИ-агентов

По мере того как возможности ИИ-агентов расширяются, компании, стремящиеся внедрить их в свои приложения, рабочие процессы и продукты, сталкиваются с новой проблемой. Она заключается в обеспечении корректной и предсказуемой работы агентов в различных операционных средах. В ответ на этот вызов корпорация Microsoft представила новый открытый стандарт под названием Agent Control Specification (ACS). Его цель – предоставить разработчикам унифицированный и детализированный механизм для контроля над действиями искусственного интеллекта.

Проблема контроля и решение от Microsoft

Появление данного стандарта особенно актуально на фоне того, что разработчики вынуждены придумывать собственные способы контроля за работой ИИ, особенно с учетом частых дискуссий о сбоях в ИИ-рабочих процессах, вызванных некорректным использованием инструментов или непреднамеренными действиями, приводящими к каскадным отказам. В настоящее время для контроля обычно используются системные подсказки, пользовательские проверки в коде приложений или классификаторы для выявления нежелательных входных и выходных данных. Эти методы могут быть эффективными, но часто приводят к фрагментации систем управления, затрудняющей аудит и повторное использование политик в разных фреймворках, интерфейсах и системах.

Принципы работы Agent Control Specification

По сути, этот стандарт позволяет командам разработки, комплаенса (соблюдения правил и норм) и безопасности самостоятельно определять политики, которым должны следовать ИИ-агенты. Правила могут регулировать допустимые и запрещенные действия, определять ситуации, требующие одобрения человека, а также устанавливать порядок логирования (записи) событий для последующего анализа. Эти файлы политик проверяются в различных «точках перехвата» по ходу выполнения агентом задачи, чтобы гарантировать соблюдение заданных ограничений.

Гибкость и точки применения ACS

ACS призван объединить все эти механизмы контроля в единый уровень управления. По заявлениям Microsoft, спецификация позволяет проверять соблюдение ограничений ИИ-агентом на нескольких этапах рабочего процесса:

• до получения входных данных;
• перед вызовом инструмента;
• после получения результата от инструмента;
• до отправки окончательного ответа пользователю.

Политика может разрешать или блокировать действие, скрывать конфиденциальную информацию (редактировать) или даже запрашивать одобрение человека.

Расширенные возможности и переносимость

Кроме того, разработчики могут внедрять классификаторы для входных и выходных данных, чтобы категоризировать информацию, прогнозировать результаты или определять реакцию агента. Также есть возможность использовать большие языковые модели (LLM) с подсказками, которые будут выступать в роли «судьи» при применении политик, и добавлять специальную логику для проверки вызовов инструментов, их выбора, точности входных данных, корректности использования выходных данных и формируемых ответов. Благодаря тому, что эти политики могут быть оформлены в виде отдельных файлов, их можно интегрировать непосредственно с агентами. Это гарантирует, что правила безопасности и соответствия будут сопровождать агента при его развертывании в различных фреймворках и средах.

Доступность и поддержка

ACS доступен в виде комплекта для разработки ПО (SDK) с плагинами для популярных платформ и инструментов, таких как LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, а также для инструментов MCP и многих других.