Cisco предупреждает о сложностях при создании отчетов о кибербезопасности с помощью ИИ

Компания Cisco провела исследование эффективности использования искусственного интеллекта для подготовки подробных технических отчетов об инцидентах безопасности. В ходе тестирования выяснилось, что генерация длинных текстов с помощью нейросетей сопряжена с серьезными рисками: результаты часто оказываются неточными, непоследовательными, а в некоторых случаях приводят к потере критически важных данных.

Основные проблемы генеративного ИИ

Специалисты отмечают, что использование больших языковых моделей (LLM) для подготовки технической документации может привести к неожиданным выводам и нестабильному стилю изложения. Это связано с самой природой работы LLM — алгоритмов, которые предсказывают следующее слово или его часть (токен) в последовательности на основе весов модели и обучающих данных. Фактически такие системы работают как продвинутый автозапуск, делающий обоснованные предположения.

Согласно отчету Cisco, выделяются четыре ключевые проблемы при работе с ИИ в сфере безопасности:

• Непостоянство данных: модели могут использовать разные сведения для каждого нового запроса, что затрудняет стандартизацию;
• Вариативность: даже при вводе идентичных данных результат каждый раз получается разным;
• Проблемы с форматированием: каждый новый документ может иметь уникальную структуру, что недопустимо для корпоративной отчетности;
• Потеря информации: алгоритмы ИИ иногда игнорируют важные детали, искажая итоговый смысл отчета.

Рекомендации по оптимизации процессов

Несмотря на выявленные недостатки, в обзоре подчеркивается, что ИИ не является бесполезным инструментом. При правильной настройке нейросети способны сэкономить компаниям значительное количество времени. Для повышения надежности эксперты рекомендуют давать системе максимально детализированные инструкции, сфокусированные на небольших и конкретных задачах.

В Cisco считают, что ИИ не должен самостоятельно выбирать источники информации. Системе необходимо предоставлять строго определенные документы и задавать жесткие правила относительно стиля и оформления. В ходе «слепого тестирования» редакторы и технические специалисты, не знавшие о происхождении текста, высоко оценили качество работы ИИ. Было отмечено, что количество опечаток и грамматических ошибок в таких отчетах значительно ниже, чем в документах, подготовленных людьми.

Риск «перекрестного загрязнения» данных

Исследователи обнаружили еще одну серьезную проблему: при работе над несколькими отчетами в рамках одной диалоговой сессии данные из одного документа могут случайным образом попасть в другой. Это происходит даже в том случае, если исходные заметки для предыдущего отчета были удалены из текущего проекта.

Чтобы избежать подобных ошибок и утечек контекста, специалисты советуют создавать новую сессию и заново вводить все инструкции для каждого отдельного инцидента. Это позволяет избежать смешивания фактов и гарантирует чистоту предоставляемой информации.