SkillOpt: новый подход Microsoft к автоматизации обучения ИИ-агентов

Навыки агентов стали важным компонентом современных прикладных систем искусственного интеллекта. Они представляют собой набор инструкций, обычно оформленных в виде текстовых файлов формата .md, которые позволяют языковым моделям адаптироваться к специфическим задачам и сложным рабочим процессам в корпоративной среде. Однако оптимизация таких инструкций — процесс трудоемкий и склонный к ошибкам, так как их нельзя обучить стандартными методами, применяемыми для настройки параметров самой нейросети. Чаще всего пользователям приходится вручную редактировать файлы, пытаясь опытным путем определить, какие изменения улучшат результат.

Корпорация Microsoft представила SkillOpt — открытый фреймворк (распространяемый по лицензии MIT), который автоматизирует этот процесс. Технология превращает текстовый документ с навыками агента в обучаемый объект, развивающийся на основе обратной связи об эффективности его работы.

Принцип работы SkillOpt

В основе системы лежит подход, заимствованный из глубокого обучения. Фреймворк позволяет модели систематически тестировать модификации в текстовых инструкциях и находить их оптимальную комбинацию, не меняя при этом веса самой нейросети. Основные механизмы оптимизации включают:

• Контроль бюджета изменений: аналог скорости обучения в нейросетях, который ограничивает количество правок за один цикл, предотвращая хаотичные изменения навыков.
• Валидацию: строгая проверка на отложенной выборке примеров, благодаря которой сохраняются только те текстовые правки, что математически подтверждают повышение эффективности.
• Инерционность: сравнение показателей предыдущего и текущего этапов обучения позволяет закреплять устойчивые знания, отсеивая временные аномалии.

Результаты тестирования

В ходе испытаний на широком спектре промышленных бенчмарков SkillOpt показал значительное превосходство над существующими методами, включая ручное написание инструкций и генерацию промптов нейросетями. Фреймворк продемонстрировал высокую эффективность на 52 различных комбинациях моделей и сред выполнения.

Наиболее впечатляющие показатели были зафиксированы у моделей флагманского уровня, таких как GPT-5.5, где средний прирост точности составил 23,5 процентных пункта. Не менее эффективным решение оказалось и для компактных моделей: например, производительность GPT-5.4-nano в задачах по извлечению данных из документов и принятию последовательных решений выросла в несколько раз.

Преимущества для бизнеса

Разработчики отмечают ключевые особенности системы, важные для внедрения в корпоративные процессы:

• Портативность: обученные навыки можно легко переносить между различными средами выполнения. Например, навыки, созданные в одной программной оболочке, успешно работают в других без дополнительной доработки.
• Прозрачность: конечные файлы навыков остаются компактными — в среднем около 920 токенов (единиц текста), что делает их легко читаемыми и проверяемыми для человека.
• Экономическая эффективность: затраты на обучение навыка для одной задачи составляют в среднем от 1 до 5 долларов. Этот расход является единоразовым, так как оптимизированные артефакты могут использоваться в дальнейшем без ограничений.
• Совместимость: SkillOpt может работать параллельно с другими инструментами автоматизации, такими как DSPy, что позволяет компаниям интегрировать технологию в уже существующие стеки разработки.

По мнению специалистов, SkillOpt является важным шагом к созданию автономных систем, способных самостоятельно обнаруживать знания для улучшения собственной работы. В перспективе этот подход поможет агентам более эффективно справляться с задачами, требующими строгого соблюдения процедур, таких как автоматизация работы с финансовыми отчетами, юридическими документами и соблюдение нормативных требований.

* — деятельность компании запрещена на территории РФ