Центры обработки данных для ИИ: от вычислительных систем к системам, ориентированным на данные

В современном мире центры обработки данных, предназначенные для искусственного интеллекта (ИИ), претерпевают кардинальные изменения, превращаясь из чисто вычислительных систем в экосистемы, главным приоритетом которых является управление данными. При масштабном внедрении именно эффективное обращение с данными, а не только объем вычислительных ресурсов, становится решающим фактором для долгосрочной ценности и устойчивости ИИ-решений. До недавнего времени инфраструктура ИИ ассоциировалась в первую очередь с мощными процессорами (GPU — графическими, CPU — центральными), памятью и показателями производительности. Такой подход был оправдан на ранних этапах, когда основная задача заключалась в запуске моделей в больших масштабах. Однако по мере того, как ИИ-системы переходят в стадию промышленной эксплуатации, это понимание трансформируется.

Новый взгляд на архитектуру ИИ

По словам директора по развитию бизнеса платформенных решений в регионе EMEAI компании WD, эти изменения затрагивают не только увеличение вычислительной мощности. Речь идет о масштабе данных и, что более важно, о том, как эти данные ведут себя со временем. В отличие от вычислительной инфраструктуры, которую можно повторно использовать и перенастраивать, данные не обнуляются. Они постоянно накапливаются — растут с каждым циклом обучения, выполнением запроса (инференсом) и каждым взаимодействием — и со временем начинают определять саму систему. Этот сдвиг имеет серьезные последствия. В условиях промышленной эксплуатации ИИ-системы перестают вести себя как традиционные вычислительные комплексы, становясь полноценными системами данных. Это кардинально меняет подходы к их проектированию, эксплуатации и масштабированию.

От вычислительных циклов к жизненному циклу данных

Как только ИИ-системы выходят за рамки экспериментальных задач, проявляется четкое расхождение в их поведении. Вычислительные операции остаются эпизодическими, в то время как объем данных непрерывно растет. Нагрузки на обучение масштабируются вверх и вниз. Инфраструктура может использоваться для различных задач, а эффективность со временем повышается, позволяя одним и тем же вычислительным ресурсам обеспечивать больший результат.

Однако данные ведут себя совершенно иначе. Каждый инференс (выполнение запроса или генерация результата) создает новые данные: логи (журналы событий), метаданные и промежуточные результаты, которые часто необходимо сохранять. Даже один сгенерированный ИИ-системой результат может привести к появлению операционных данных, сопоставимых по объему с самим результатом. В крупном масштабе такое накопление становится структурным, а не случайным.

Если традиционные системы полагались на человеческое суждение при принятии решения о сохранении данных, то ИИ-системы действуют противоположным образом. Данные сохраняются, поскольку они несут в себе будущую ценность. Сигналы и контекст накапливаются, способствуя постоянному улучшению и позволяя системам учиться на прошлых взаимодействиях. В результате прежняя взаимосвязь, определявшая инфраструктуру, нарушается: вычислительные мощности масштабируются волнообразно, а данные растут непрерывно.

Это также меняет характер самой задачи. Речь уже не только об эффективном запуске моделей, но и о поддержании всего, что их окружает. Вычислительные ресурсы создают моменты “интеллекта”, но именно данные делают эти моменты долговечными и многократно используемыми.

Происходит также сдвиг в том, что именно хранится. Помимо обучающих наборов данных, быстро растет объем сгенерированных выходных данных, “встраиваний” (эмбеддингов), логов и институциональных знаний, заложенных в системы. Этот слой часто недооценивается, однако он становится главной проблемой масштабирования в производственных средах.

В этом контексте хранение становится фундаментальной основой. Современная ИИ-инфраструктура по своей природе является многоуровневой. Высокопроизводительные уровни поддерживают рабочие нагрузки в реальном времени, в то время как оптимизированные по емкости уровни хранят растущий объем сохраняемых данных. При большом масштабе одноуровневые подходы к хранению быстро становятся неэффективными. Проектирование с учетом различных уровней хранения критически важно для баланса производительности, стоимости и долговечности.

Проблемы традиционных моделей инфраструктуры

Распространенное предположение при планировании инфраструктуры ИИ заключается в том, что хранилище должно масштабироваться пропорционально вычислительным мощностям. Это может работать на начальных этапах развертывания, но становится все менее надежным в условиях промышленной эксплуатации.

Причина кроется в принципиально разных моделях роста. Инвестиции в вычисления носят эпизодический характер и все больше зависят от эффективности. Хранилище же, напротив, непрерывно масштабируется вместе с ростом данных, политиками их сохранения и требованиями к управлению. Со временем оно становится основным фактором затрат. Когда хранилище рассматривается как второстепенный элемент, возникают две основные проблемы:

• Архитектурный пробел: Хранилище располагается “ниже по потоку”, хотя именно оно отвечает за долгосрочную сохранность и доступность данных.
• Экономический пробел: Затраты растут с накоплением данных, а не с циклами обновления оборудования, что делает общую стоимость владения (TCO) ключевой проблемой при масштабировании.

Эти проблемы часто проявляются постепенно. Системы могут хорошо работать на начальном этапе, но по мере увеличения объемов данных начинает ощущаться нагрузка — не из-за ограничений вычислений, а потому что слой данных не был спроектирован для масштабирования. В этот момент и начинает меняться само определение производительности.

Проектирование систем для работы с данными в масштабе

В средах ИИ производительность уже не ограничивается одной лишь скоростью. Она включает в себя доступность, долговечность и устойчивость. Если к данным невозможно надежно получить доступ, система не сможет функционировать, независимо от объема доступных вычислительных мощностей.

Долговечность и устойчивость, таким образом, становятся ключевыми требованиями к проектированию. При масштабном развертывании ИИ сбои — это не исключение, а постоянное явление. Системы должны быть спроектированы так, чтобы поглощать непрерывные нарушения без ущерба для производительности или надежности. Это меняет само понимание производительности: она больше не привязана к какому-либо одному компоненту, а формируется тем, как данные хранятся, перемещаются и управляются в распределенной архитектуре.

В настоящее время индустрия наблюдает более широкий переход. ИИ перемещается из экспериментальных сред в постоянные производственные системы. Предположения, сделанные на этом этапе, будут определять долгосрочные результаты. Организации, успешно преодолевающие этот переход, осознают, что центры обработки данных для ИИ масштабируются за счет данных, а не только вычислений. Они будут проектировать инфраструктуру, исходя из полного жизненного цикла данных — от создания до сохранения — обеспечивая поддержку роста систем, экономическую эффективность и долгосрочную надежность.

Это также требует дальновидного подхода. Решения по инфраструктуре должны отражать положение дел с данными через три-пять лет, а не только текущие требования. Как только системы развернуты в масштабе, пересмотр фундаментальных решений становится сложным и дорогостоящим.

Вычислительные ресурсы будут продолжать определять моменты прогресса в ИИ, но данные определяют, могут ли эти моменты быть устойчивыми и стать основой для дальнейшего развития. В этом смысле определяющей характеристикой успешной инфраструктуры ИИ является не только производительность вычислений. Это способность эффективно управлять данными с течением времени — рассматривать хранилища данных как фундамент, архитектуру как изначально многоуровневую, а масштабирование как функцию того, насколько хорошо данные сохраняются, доступны и используются.