Проектирование сети кластера искусственного интеллекта: Spine-Leaf, RoCE и сетевые адаптеры

Проектирование сети кластера искусственного интеллекта – это процесс определения размеров сетевых адаптеров графических серверов, пропускной способности конечного-магистрального канала, коэффициента превышения подписки, настроек RoCE, оптики и кабелей, чтобы распределенный обучающий трафик оставался предсказуемым по мере масштабирования кластера. Если вы сделаете что-нибудь неправильно, узким местом станет сеть -, а не графический процессор -.

Чем отличаются сети кластеров искусственного интеллекта

В традиционном корпоративном центре обработки данных сеть обрабатывает пользовательский трафик севера-юга, доступ к хранилищу, виртуализацию и управление. Движение с востока на запад существует, но редко является доминирующей нагрузкой. В кластере ИИ ситуация меняется. Серверы графического процессора, выполняющие распределенное обучение, обмениваются градиентами и синхронизируют параметры на каждом этапе работы. Эта связь является частью вычислений, а не их побочным эффектом.

Если графический процессор стоимостью 30 000 долларов тратит 30 % своего времени на ожидание в сети во время всех-операций сокращения, кластер фактически платит за 30 % своей вычислительной мощности, простаивая. Это экономическая причина, по которой сетям искусственного интеллекта уделяется так много внимания.

При проектировании учитываются три характеристики рабочей нагрузки:

• Пробки на востоке-западе.Коллективные коммуникационные операции, такие как все-сокращение, все-сбор и сокращение-рассеяние, создают синхронизированные пакеты на многих узлах одновременно.
• Чувствительность к хвостовой-задержке.Один медленный узел задерживает весь этап обучения. Предсказуемая задержка имеет большее значение, чем средняя задержка.
• Масштабируйте-рост.Кластеры, которые начинаются с 32 графических процессоров, часто вырастают до 256 или 1024 в течение 18 месяцев. Ткань должна масштабироваться без изменения дизайна.

Почему Spine-Leaf подходит для кластеров искусственного интеллекта

Spine-leaf — это стандартная структура для гипермасштабируемых центров обработки данных, поскольку она обеспечивает каждому пути-между-серверами одинаковое количество переходов и одинаковую теоретическую пропускную способность. Для рабочих нагрузок ИИ такая однородность напрямую приводит к более предсказуемому времени этапов обучения.

В топологии позвоночника-листа серверы графического процессора подключаются к коммутаторам листьев, а каждый лист подключается к каждому позвоночнику. Любая связь между графическими процессорами-с-процессорами пересекает ровно один лист, один позвоночник и еще один лист. Здесь нет слоев агрегации, вводящих переменную задержку или узкие места.

Предсказуемая задержка

Маршрутизация с равными-многопутями-путями (ECMP) распределяет потоки по магистральным коммутаторам. При правильной настройке с помощью адаптивной маршрутизации или динамической балансировки нагрузки это предотвращает коллизии хеш-функций, из-за которых некоторые потоки выполняются намного медленнее других - известная проблема в статических фабриках ECMP, передающих небольшое количество, но больших потоков, а это именно то, что создает обучение ИИ.

Высокая полоса пропускания пополам

Пропускная способность пополам — это пропускная способность, доступная между любыми двумя равными половинками кластера. Обучение ИИ выигрывает от не-блокирующих или почти-не-схем, в которых пропускная способность восходящего канала от конечного-к-позвоночного канала равна или почти равна пропускной способности нисходящего канала, обращенного к серверам. IETF определяет и обсуждает эти концепции вRFC 7938, который охватывает фабрики Clos с маршрутизацией по BGP-, широко используемые в крупных-центрах обработки данных.

Более простое масштабирование-выхода

Добавьте больше листьев, чтобы добавить больше серверов. Добавьте больше шипов, чтобы увеличить полосу пропускания пополам. Для кластеров с количеством графических процессоров, превышающим несколько тысяч, супер-позвоночник (5-этап Clos) или топология, оптимизированная по рельсам, расширяют тот же принцип на один уровень дальше.

Основные компоненты сети кластера ИИ

Серверы графических процессоров и сетевые карты

Сетевая карта — это место, где структура встречается с хостом. В кластерах искусственного интеллекта выбор сетевого адаптера определяет все параметры нисходящего потока: - скорость порта коммутатора, выбор оптики и плотность кабелей.

Критерии выбора для задач ИИ:

• Скорость порта:200G, 400G или 800G на порт. Соответствует поколению графического процессора и пропускной способности PCIe.
• Поколение PCIe:Сетевой карте 400G требуется PCIe Gen5 x16, чтобы избежать регулирования на стороне хоста-. Максимально допустимая скорость PCIe Gen4 x16 составляет ~256 Гбит/с.
• Поддержка RDMA и RoCEv2:Требуется для обхода ядром-библиотек связи с графическим процессором, таких как NCCL.
• ГПУДирект RDMA:Позволяет напрямую использовать графический процессор-к-сетевому адаптеру DMA, удаляя копии памяти хоста.
• Возможность работы с несколькими-железными дорогами:Многие серверы искусственного интеллекта используют 4 или 8 сетевых карт на узел, по одному на пару графических процессоров, для топологий, оптимизированных по рельсам.

Типичный сервер с 8 графическими процессорами сегодня использует либо 4 сетевых адаптера 400G (по одному на два графических процессора), либо 8 сетевых адаптеров 400G (по одному на каждый графический процессор) в зависимости от рабочей нагрузки и бюджета. Эталонные архитектуры отДокументация по сети NVIDIAподробно опишите компромиссы в дизайне.

Листовые и шиповые переключатели

Критерии выбора коммутатора для AI-фабрик отличаются от критериев выбора предприятия. Размер буфера, поведение управления перегрузкой и телеметрия имеют большее значение, чем широта функций.

• Скорость и основание-порта:ASIC коммутатора со скоростью 51,2 Тбит/с обеспечивает 64 порта 800G или 128 портов 400G. Система счисления определяет, насколько плоской может быть ткань.
• Буферная архитектура:Глубокие буферы поглощают всплески, но увеличивают задержку. Мелкие буферы уменьшают задержку, но требуют точного контроля перегрузки.
• Набор функций RoCE:Маркировка ECN, PFC, DCQCN или эквивалентный контроль перегрузки, а также правильная обработка приоритетных очередей от конца-до-конца.
• Телеметрия:Внутриполосная сетевая телеметрия (INT), отчеты о-глубине очереди и микросекундные-счетчики разрешения для меток ECN и пауз PFC.

Кабели оптики, ЦАП и AOC

На станциях 400G и 800G прокладка кабелей становится настоящей инженерной проблемой. Форм-факторы, бюджеты каналов и конфигурации секционирования — все это требует предварительного планирования.

• ЦАП (медный кабель прямого подключения):До ~3 метров для 400G, самая низкая стоимость и самая низкая мощность. Тяжелый и громоздкий по размеру.
• AOC (активный оптический кабель):До ~30 метров, тоньше, чем ЦАП, но фиксированной-длины и потребляет мощность оптики на обоих концах.
• Съемная оптика:Требуется за пределами расстояния AOC. Форм-факторы QSFP-DD и OSFP доминируют в 400G/800G. Оптоволоконные сборки MPO/MTP обрабатывают параллельные-оптические соединения.

Для соединений между-стойками и структурированных кабельных систем 400G/800G параллельная оптика через терминаторы MPO теперь является стандартной. Выбор между магистральными кабелями и коммутационными сборками зависит от распределения портов вашего коммутатора - см.Кабельная направляющая MPOдля практической логики отбора и более широкогоСравнение магистрали MPO и прорывапри планировании пробега от листа-к-позвоночнику.

RoCE и Ethernet без потерь в фабриках искусственного интеллекта

RoCEv2 (RDMA over Converged Ethernet v2) является доминирующим транспортом Ethernet для рабочих нагрузок ИИ. Это позволяет сетевым картам перемещать данные напрямую между областями памяти графического процессора без участия ядра на обоих концах. NCCL, библиотека связи с графическим процессором, лежащая в основе почти всех платформ распределенного обучения, использует RoCEv2, когда InfiniBand недоступен.

RoCE работает хорошо при правильной настройке. При неправильной настройке он выходит из строя.Торговая ассоциация InfiniBandпубликует спецификации RoCE, а большинство поставщиков сетевых карт и коммутаторов публикуют подробные руководства по настройке, которым следует следовать от начала до конца-до-.

Почему важно поведение без потерь

RDMA был разработан с учетом транспорта без потерь. При потере пакетов восстановление RDMA обходится дорого. - вернуться-обратно-N повторная передача может задержать этап обучения на миллисекунды, что очень много по сравнению с бюджетом RDMA в микросекундах-масштабе.

Чтобы приблизиться к поведению без потерь в Ethernet, фабрика использует два механизма, работающих вместе:

• PFC (приоритетное управление потоком, IEEE 802.1Qbb):Коммутатор приостанавливает входящий трафик в очереди с определенным приоритетом, когда его буфер заполняется. Это механизм-последней меры.
• ECN (явное уведомление о перегрузке, RFC 3168):Коммутаторы отмечают пакеты, когда очередь приближается к пороговому значению. Сетевая плата снижает скорость отправки до фактического заполнения буферов, в идеале полностью избегая PFC.

Цель состоит в том, чтобы ECN взяла на себя почти всю работу по управлению перегрузками, используя PFC в качестве системы безопасности. Если вы видите частые паузы PFC в устойчивом-трафике, ваши пороговые значения ECN неверны или ваша структура имеет недостаточный размер.

Распространенные ошибки развертывания RoCE

Как спроектировать сеть кластеров ИИ: рабочая структура

Этот раздел пропускают большинство статей, посвященных сетям искусственного интеллекта. Семь шагов, приведенных ниже, дадут вам конкретные результаты и результаты на каждом этапе.

Шаг 1. Определите рабочую нагрузку и масштаб

Входы:Тип рабочей нагрузки (предварительное обучение, точная-настройка, логический вывод, смешанная), целевое количество графических процессоров сегодня, целевое количество графических процессоров через 18 месяцев, диапазон размеров модели.

Выход:Профиль рабочей нагрузки, который сообщает о скорости сетевого адаптера и допустимом превышении подписки. Для масштабного предварительного обучения пограничных моделей требуются не-фабрики 400G+. Рабочие нагрузки тонкой-настройки допускают переподписку в соотношении 2:1. Кластерам вывода часто требуется меньшая пропускная способность, но меньшая задержка хвоста.

Шаг 2. Выберите скорость сетевого адаптера и количество на сервер.

Логика решения:

• Предварительное обучение крупных моделей, серверы с 8 графическими процессорами → 4–8 сетевых карт 400G на сервер или 4 800G.
• Обучение среднего-масштаба, серверы с 8 графическими процессорами → 2–4 сетевых адаптера 400G на сервер
• Обслуживание вывода → 1–2 сетевых адаптера 200G или 400G на сервер, в зависимости от параллелизма модели.

Проверьте пропускную способность PCIe на хосте. Для работы одного порта 400G требуется PCIe Gen5 x16 на скорости линии; для удвоения до 800G требуется Gen6 или разделение на два слота.

Шаг 3: Измените размер слоя с листьями

Рабочий пример - 32-кластера узлов, 8 графических процессоров на узел, 4 сетевых адаптера 400G на узел:

• Общее количество необходимых портов,-обращающихся к серверу: 32 × 4=128 портов на скорости 400G.
• Пропускная способность нисходящей линии связи на узел: 4 × 400=1.6 Тбит/с.
• Общая пропускная способность нисходящего канала кластера: 32 × 1.6=51.2 Тбит/с.

Используя листовой коммутатор 400G с 64 портами (общая пропускная способность 25,6 Тбит/с), каждый лист может подключать 32 серверных порта и использовать оставшиеся 32 порта в качестве восходящих каналов. Четыре листа охватывают все 128 портов сервера. Каждый лист передает 32 × 400G=12.8 Тбит/с восходящего канала в сторону позвоночника.

Шаг 4: Измените размер слоя позвоночника

Для схемы без-блокировки (1:1) общая пропускная способность восходящего канала должна равняться общей пропускной способности нисходящего канала. С шага 3:

• Общее количество требуемых конечных каналов связи: 4 листьев × 12,8 Тбит/с=51.2 Тбит/с.
• Если каждый позвоночник имеет 32 порта 400G=12.8 Тбит/с, вам понадобится 4 позвоночника.
• Каждый лист соединяется со всеми 4 ветвями, используя 8 восходящих каналов на каждый позвоночник (8 × 400G × 4=12.8 Тбит/с на каждый лист соответствует -)

При использовании 64-портовых коммутаторов 400G у каждого позвоночника есть свободная мощность для расширения кластера, что полезно для 18-месячного плана, начиная с шага 1.

Шаг 5. Установите коэффициент переподписки

Шаг 6. Разделите трафик вычислений, хранения и управления

Три варианта в порядке возрастания изоляции:

• Общая структура с классами QoS:Вычисления, хранение и управление по отдельным приоритетам DSCP. Самая низкая стоимость; требует тщательной настройки QoS.
• Логически разделенные VLAN/VRF:То же оборудование, отдельные плоскости управления. Полезно для мульти-кластеров.
• Физически отдельные ткани:Выделенные сетевые адаптеры, коммутаторы и кабели для вычислений и хранения данных. Самая высокая стоимость; распространено в кластерах пограничных-моделей, где любое разногласие недопустимо.

Трафик хранилища для ИИ сам по себе является интенсивным -, записи контрольных точек для большой модели могут перемещать сотни гигабайт короткими пакетами. Запланируйте это четко. Установка структурированной кабельной системы высокой-плотности, использующаяМагистральные кабели MPO/MTPупрощает работу параллельных фабрик в одной физической инфраструктуре.

Шаг 7: Проверка перед производством

Тесты на уровне сети-выявляют некоторые проблемы. Тесты на уровне рабочей нагрузки-улавливают все остальное.

• Пропускная способность:iperf3 или ib_send_bw между каждой парой узлов; должна достигать 90%+ скорости линии NIC.
• Задержка:ib_read_lat или аналогичный; проверьте распределение, а не только среднее. P99.9 имеет большее значение, чем среднее значение.
• Потеря пакетов:Запустите 24-часовой-тест на выдержку под нагрузкой; любая ненулевая потеря в классе трафика RoCE является проблемой.
• Поведение маркировки ECN:Убедитесь, что метки появляются перед срабатыванием PFC; если паузы PFC в устойчивом состоянии часты, выполните перенастройку.
• Коллективное общение:Запустите тесты NCCL (all_reduce_perf, all_gather_perf) при полном размере кластера. Сравните со ссылочными номерами поставщиков.
• Тест-уровня должности:Запустите типовое задание по обучению в течение 4–6 часов. Наблюдайте за загрузкой графического процессора, - устойчивые значения ниже 50 % на модели- правильного размера обычно указывают на проблему с сетью.

Традиционная сеть центров обработки данных и AI Spine-Leaf Fabric

Ethernet RoCE против InfiniBand: краткое руководство по принятию решений

Этот вопрос возникает почти в каждом проекте кластера ИИ. Оба работают. Выбор обычно сводится к эксплуатационной пригодности, а не к чистой производительности.

• Выбирайте InfiniBand, если:Ваша команда уже использует фабрики InfiniBand, вам нужен самый простой путь к транспортировке без потерь или вы покупаете полностью-интегрированную эталонную архитектуру поставщика.
• Выбирайте Ethernet RoCE, если:Ваша операционная группа использует-собственную поддержку Ethernet, вам нужны варианты коммутаторов-от нескольких поставщиков, вам необходимо интегрировать фабрику искусственного интеллекта с существующими сетями центров обработки данных или вы ожидаете масштабирования, выходящего за рамки того, что поддерживаются текущими топологиями InfiniBand.

Консорциум Ultra Ethernet, созданный в 2023 году, активно работает над стандартизацией усовершенствований Ethernet специально для рабочих нагрузок искусственного интеллекта. Для большинства новых кластеров в 2026 году Ethernet RoCE будет оправданным вариантом по умолчанию, если нет особых причин выбрать иной вариант.

Распространенные ошибки, которых следует избегать

Обновление коммутаторов без проверки сетевых карт

Коммутационная матрица 800G ничего вам не даст, если ваши сетевые карты работают на скорости 400G или у вашего хоста PCIe не хватает пропускной способности. Сначала спроектируйте сторону хоста, затем сторону коммутатора. PCIe Gen5 x16 ограничивает один порт примерно до 504 Гбит/с реальной-мировой пропускной способности -, комфортной для 400G и предельной для 800G.

Оптимизация скорости порта, но игнорирование плотности кабелей

На выходе из 64-портов 400G кабели под каждым коммутатором могут стать физически неуправляемыми без планирования. При необходимости используйте отводные кабели, прокладывайте волокна через структурированные каналы и стандартизируйте типы разъемов. Качество разъема и его подключение имеют значение на высоких скоростях — нашиРуководство по типам оптоволоконных разъемовохватывает компромиссы между LC, MPO и появляющимися форм-факторами высокой-плотности.

Отношение к RoCE как к принципу «подключи-и-Play»

Самая большая ошибка при проектировании реальных кластеров ИИ заключается не в выборе неправильного переключателя -, а в недооценке объема работы по-до-конечной настройке RoCE. Выделите время для настройки порогов ECN, приоритетов PFC и согласованности MTU. Запланируйте специальный этап проверки перед запуском любой производственной нагрузки.

Смешивание всего трафика в одной фабрике без QoS

Репликация хранилища, агенты мониторинга и трафик управления могут сократить время обучения, если они используют буферы совместно с вычислительным трафиком. Либо разделите их физически, либо установите строгие классы QoS с отдельными приоритетами и конфигурацией ECN.

Создание только для сегодняшнего кластера

Большинство кластеров ИИ вырастают в 4–8 раз в течение двух лет после первоначального развертывания. Выберите размер переключателя основания и позвоночника, обеспечивающий не-расширение без прерывания работы. Протягивать кабели в работающем центре обработки данных искусственного интеллекта дорого; планирование емкости каналов и исправлений во время развертывания обходится дешево.

Когда переходить от 400G к 800G?

Доступны сетевые адаптеры и коммутаторы 800G, но они дороже за порт. Рассмотрите возможность активизации, когда:

• Требуемая полоса пропускания для-GPU превышает возможности 400G. - Например, для H100 и более новых графических процессоров с NVLink 5 требуется более высокая внешняя пропускная способность.
• Все NCCL-сокращения времени плохо масштабируются в зависимости от размера кластера, что указывает на перегруженность сети.
• Плотность кабеля на скорости 400G становится физически неуправляемой - меньшее количество портов 800G может заменить больше портов 400G
• Ожидается, что следующему поколению графических процессоров в вашей дорожной карте он понадобится в течение периода амортизации кластера.
• Вы создаете передовой-кластер обучения модели, в котором время простоя вычислений обходится значительно дороже, чем обновление оптики.

Для большинства производственных кластеров в 2026 году 400G останется правильным балансом стоимости, зрелости экосистемы и возможностей.. 800G имеет смысл на верхнем уровне и в качестве перспективной инвестиции для кластеров, которые строятся сегодня и будут работать в течение 4–5 лет.

Заключение

Самая мощная кластерная сеть ИИ — это не та, у которой самые быстрые коммутаторы. Это вариант, в котором выбор сетевого адаптера, размер листьев/позвоночников, переподписка, конфигурация RoCE, разделение трафика и физическая кабельная разводка поддерживают друг друга и рабочую нагрузку, для которой они были выбраны.

Начните с рабочей нагрузки и плана роста на 18-месяцев. Рассчитайте потребности в полосе пропускания на каждом уровне, используя реальные цифры, а не просто эмпирические правила. Настройте оконечное---RoCE и проверьте его с помощью реальных тестов коллективной связи. Бюджет кабельного завода — при 400G и 800G физический уровень уже не является тривиальным.

Кластер, который поддерживает загрузку своих графических процессоров на уровне 95 % и более на каждом этапе обучения, — это тот, который уделил внимание всем этим уровням. Кластер, который поставляется с более быстрым коммутатором и более медленной структурой, потратит годы на объяснение того, почему графические процессоры простаивают.

Дальнейшее чтение

• RFC 7938 - BGP в крупных-центрах обработки данных
• Технические характеристики RoCE торговой ассоциации InfiniBand -
• Сетевая документация NVIDIA
• Руководство по установке оптоволоконного кабеля
• Объяснение вносимых потерь и обратных потерь