Руководство по проектированию сети кластера искусственного интеллекта: RoCEv2, Ethernet без потерь и матрица графических процессоров 400G/800G

Jul 07, 2026

Оставить сообщение

В кластере графических процессоров сеть не является вспомогательным уровнем -, она решает, будут ли дорогие ускорители выполнять вычисления или простаивать в ожидании данных. Сеть кластеров искусственного интеллекта напрямую влияет на скорость обучения, загрузку графического процессора и время выполнения заданий, и ее поведение сильно отличается от сети центров обработки данных общего-назначения. В этом руководстве описывается, как спроектировать фабрику без потерь для рабочих нагрузок графического процессора: топологию, конфигурацию RoCEv2, оптику и кабели 400G/800G, а также проверку, которая отделяет фабрику, которая проходит тест пропускной способности, от той, которая фактически вовремя завершает задания по обучению.

Проектирование сети кластера искусственного интеллекта

Хорошо-структура кластера искусственного интеллекта разделяет внешний и внутренний трафик, использует не-блокируемую или-листовую топологию-spine для серверной части, запускает RoCEv2 с PFC, ECN и DCQCN, настроенными так, чтобы ECN действовала раньше PFC, распределяет большие потоки с учетом перегрузок-распределяет балансировку нагрузки вместо одного ECMP по умолчанию, сегодня стандартизирует 400G с четкий путь к 800G и проверяется с помощью телеметрии, сопоставленной с искусственным интеллектом,-например, коллективного трафика-, а не просто с помощью простых тестов пропускной способности.

Краткий обзор проектирования сети кластера искусственного интеллекта

Решение Рекомендуемый по умолчанию
Домены трафика Отдельные интерфейсные и серверные ткани
Топология серверной части Leaf-spine, не-блокирующийся или с низким уровнем переподписки
Транспорт RoCEv2 с PFC + ECN + DCQCN
Балансировка нагрузки С учетом перегрузки-/динамический, а не только ECMP по умолчанию
Скорость порта 400G сейчас, запланирован переход на 800G
Валидация Телеметрия плюс коллективный (NCCL) трафик, не только iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Что такое кластерная сеть ИИ?

Сеть кластеров искусственного интеллекта – это высокопроизводительная-структура, которая соединяет серверы графических процессоров, хранилища, узлы управления, а иногда и несколько доменов центров обработки данных для обучения или вывода. В одном кластере передается несколько типов трафика - связь между графическим процессором-к-графическому процессору, RDMA между серверами, операции чтения и записи в хранилище, прием наборов данных, контрольные точки, ведение журналов и оркестрация -, но наиболее чувствительной к производительности-частью является серверная структура обучения, которая передает трафик графического процессора-к-графическому процессору во время распределенного обучения. Когда эта структура работает медленно или непредсказуемо, графические процессоры ждут, а не выполняют вычисления.

Вот почему фабрика искусственного интеллекта оценивается иначе, чем обычная сеть центра обработки данных. Необработанная полоса пропускания имеет значение, но также важны постоянство задержки, поведение при перегрузке, потеря пакетов, глубина телеметрии, топология и даже потребление оптической мощности.

Почему рабочие нагрузки ИИ по-разному нагружают сеть

Распределенное обучение постоянно синхронизируется

Большие модели обучаются на множестве графических процессоров, которые обмениваются градиентами и активациями в рамках скоординированных фаз - коллективных шаблонов, таких как "Все-Снизить" и "Все-к-Всем". Последствия очевидны: самый медленный путь может задержать весь этап обучения. Даже если 99% каналов исправны, один перегруженный канал от стойки-к-позвоночнику может превратить графический процессор в отстающего, которого ждут все остальные.

Хвостовая задержка тратит ресурсы графических процессоров, а не среднюю задержку

Средняя задержка здесь является неправильным показателем. Поскольку на этапе синхронизации ожидается прибытие последнего графического процессора, несколько задержанных пакетов могут задержать всю работу. В кластере с 256 графическими процессорами один канал горячего позвоночника, который увеличивает задержку на одном канале, может снизить загрузку во всем задании.

Трафик ИИ состоит из слоновьих потоков

Традиционные сети манипулируют множеством небольших потоков; Кластеры искусственного интеллекта генерируют несколько крупных и долгоживущих потоков-GPU-к-GPU. Хеширование ECMP по умолчанию распределяет потоки, а не байты, поэтому, когда несколько слоновых потоков хешируются на одну и ту же стойку-к-позвоночному каналу, этот канал становится горячим, в то время как параллельные каналы простаивают -, что приводит к увеличению очереди, скачкам задержки и, в конечном итоге, к падению. Более высокая скорость порта сама по себе не решает эту проблему: канал 400G по-прежнему перегружается, если слон плохо передает на него хэш.

Потеря пакетов обходится особенно дорого

Обычный TCP допускает потерю; RDMA на основе RoCEv2-нет. Ожидается, что структура будет вести себя как с низкими-потерями, так и без потерь, а падения во время перегрузки могут снизить производительность RDMA. Это единственная причина, по которой фабрика RoCEv2 нуждается в тщательном проектировании без потерь, а не в пересылке с максимальной эффективностью.

Основные требования к сети кластера ИИ

Хорошая серверная фабрика должна одновременно удовлетворять нескольким требованиям: высокая пропускная способность пополам, чтобы множество графических процессоров могли обмениваться данными одновременно, при этом фабрика не стала узким местом; низкийи предсказуемыйзадержка, поскольку случайные всплески перегрузки так же разрушительны, как и высокая средняя задержка; транспортировка без потерь или почти-без потерь для RoCEv2; топология, которая масштабируется без нагромождения переходов и кабелей; и глубокая операционная прозрачность. В этом последнем пункте - без телеметрии команды обычно ошибочно диагностируют проблему перегрузки сети как проблему с графическим процессором или вычислением, и тратят дни на погоню не за тем слоем.

Сетевая архитектура AI-кластера: интерфейсная и серверная фабрика

Наиболее важным решением на раннем этапе является необходимость отделения внешней сети от внутренней обучающей структуры. Внешний интерфейс обеспечивает доступ пользователей, управление, оркестрацию, мониторинг, ведение журналов, доступ к хранилищу, прием наборов данных и передачу контрольных точек - он может очень напоминать обычную сеть центра обработки данных, хотя хранилище и контрольные точки по-прежнему требуют реальной пропускной способности. Серверная часть предназначена для трафика обучения---GPU и оптимизирована для RDMA, низкой задержки, передачи без потерь и предсказуемой пропускной способности.

Это разделение не является теоретическим. Опубликованная работа МетыСети RoCE для распределенного обучения искусственному интеллекту в любом масштабеописывает именно это разделение: интерфейсную сеть для таких задач, как прием данных, контрольные точки и ведение журналов, а также выделенную серверную структуру RoCEv2, которая соединяет сетевые адаптеры RDMA в не-блокирующей архитектуре для связи с графическим процессором. ИхДокумент SIGCOMM 2024 о RDMA через Ethernet в метамасштабеформулирует ту же идею как принцип проектирования: сначала определите рабочую нагрузку, а затем отделите обучение графического процессора в свою собственную серверную сеть, чтобы она могла развиваться и масштабироваться независимо.

Почему это выгодно: разделение доменов повышает предсказуемость производительности, ясность устранения неполадок, изоляцию и-настройку управления перегрузкой. Если хранилище, управление и обучение используют одну структуру без тщательного QoS, интенсивная запись контрольных точек может остановить обмен данными по обучению в самый неподходящий момент. В конструкции Meta листовые коммутаторы соединяют графические процессоры внутри стойки через медный ЦАП, в то время как соединения стойки-с-магистралью работают по одномодовому-волоконному кабелю с трансиверами 400G -, схема, которая четко отображается на структурированномМагистральная кабельная система MPO/MTPмежду листовым и корешковым ярусами.

Frontend and backend network separation in an AI cluster

RoCEv2 и Ethernet без потерь: как они работают вместе

RDMA (удаленный прямой доступ к памяти) позволяет одной системе читать или записывать память другой системы с минимальным использованием ЦП, что делает возможной передачу данных с низкой-задержкой и высокой-пропускной способностью графического процессора-на-графический процессор. RoCEv2 передает этот трафик RDMA через Ethernet, инкапсулируя его в UDP/IP, поэтому вы можете построить структуру на основе стандартной коммутации Ethernet.

Привлекательность заключается в широте экосистемы. Ethernet имеет огромную базу поставщиков, отлаженную деятельность и быстрое развитие коммутаторов, оптики и инструментов.Консорциум Ультра Ethernetделает это своим главным аргументом: открытый, совместимый стек Ethernet от разных поставщиков, теперь формализованный в спецификации 1.0, предназначенный-для масштабирования сетей искусственного интеллекта и высокопроизводительных вычислений без привязки к поставщику-. NVIDIA продвигала то же направление со стороны продукта -Платформа Spectrum-X Ethernetпозиционируется как Ethernet, разработанный специально для ИИ, добавляющий к стандартному Ethernet транспортировку без потерь, адаптивную маршрутизацию и внутрисетевую телеметрию.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

Коммутационная сеть без потерь RoCEv2, компонент за компонентом

«Без потерь» — это не один коммутатор, это набор взаимодействующих механизмов. В таблице ниже показан уровень детализации, который действительно необходим проекту.

Компонент Роль Почему это важно
Классификация трафика (DSCP/PCP) Помещает RDMA в класс без потерь Неправильная маркировка отправляет RDMA в очередь с потерями
ПФК Приостановка уровня связи-во избежание падения Защитная сетка; неправильное использование приводит к паузам и блокировке начала--линии
ECN Отмечает пакеты до переполнения очереди Должен срабатывать до PFC, чтобы быть полезным
DCQCN Управление скоростью NIC, основанное на обратной связи ECN/CNP Уменьшает частоту срабатывания PFC.
Динамическая/адаптивная балансировка нагрузки Распределяет потоки слонов по тропам Хеширование ECMP по умолчанию оставляет ссылки горячими и простаивающими
Телеметрия Выявляет падения, метки ECN, паузы PFC, глубину очереди Единственный способ связать здоровье тканей со здоровьем на рабочем месте

Их необходимо настроить вместе. Критическая взаимосвязь заключается в том, что порог ECN должен находитьсянижевходной порог PFC, поэтому отправители замедляются, прежде чем кадры паузы когда-либо потребуются. МожжевельникДокументация DCQCNточно описывает это балансирующее действие: пусть ECN выполняет управление потоком, заранее сокращая скорость передачи, чтобы PFC -, которая полностью останавливает поток -, была сведена к минимуму. Настройте ECN слишком высоко, и PFC сработает первым и часто; настройте PFC слишком агрессивно, и вы получите штормы пауз.

Что это означает на практике: счетчики PFC не являются показателем успеха. Если кадры паузы PFC постоянно увеличиваются во время обычных обучающих запусков, структура неработоспособна -, она выдерживает перегрузку, приостанавливая трафик. По-настоящему здоровая структура показывает, что ECN выполняет свою работу, а PFC редко включается.

Распространенные проблемы сетевых кластеров искусственного интеллекта и способы их решения

Проблема 1: задержка хвоста и отстающие

Проблема:при синхронном обучении один медленный путь задерживает всю работу.Делать:держите серверную часть на низком-переходе; избегать ненужной переподписки; отслеживать задержку хвоста, а не средние значения; использовать балансировку нагрузки-с учетом перегрузок; проверять с помощью коллективных шаблонов трафика, а не проводить двухточечные--точечные тесты.На практике:задание, в котором загрузка графического процессора пилообразно с каждым интервалом синхронизации, обычно соответствует отстающему пути, а не пределу вычислений.

Проблема 2: пробки и столкновения-потоков

Проблема:несколько крупных потоков попадают в одно и то же соединение и создают горячую точку.Делать:не полагайтесь на ECMP по умолчанию для большой структуры искусственного интеллекта; включить динамическую/адаптированную балансировку нагрузки; следить за-использованием канала и глубиной очереди; позвольте ECN и DCQCN регулировать отправители, прежде чем перегрузка сохранится.На практике:неравномерное использование канала-канала при всем остальном номинальном является признаком плохого хеширования потока, а не недостаточной пропускной способности.

Задача 3: масштабирование с 400G до 800G

Проблема:По мере роста количества графических процессоров каналы с более низкой-скоростью требуют большего количества коммутаторов, уровней, оптики и кабелей.Делать:вычислить необходимую пропускную способность для каждого графического процессора и стойки (сервер с 8-графическими процессорами и 400-гигабитным сетевым адаптером на каждый графический процессор – это совсем другая структура, чем конструкция с 200 ГБ); решите, не-блокировать или намеренно слегка превысить подписку; учитывайте основание коммутатора, скорость порта и глубину топологии вместе; спланируйте путь от 400G к 800G до того, как вам придется вступить в него; оптика, кабели и питание должны быть включены в проект с самого первого дня.

Задача 4: Выбор питания, охлаждения и оптики

Проблема:Искусственный интеллект-фабрики потребляют серьезную мощность, особенно при высоких скоростях портов и оптической плотности.Делать:используйте ЦАП для коротких соединений в-стойке, где это возможно; используйте AOC или оптические трансиверы для более длинных трасс от стойки-до-хребта; сравнить мощность оптических вариантов; проверять температурные ограничения на портах с-плотностью; проектируйте кабели и воздушный поток вместе. Выбор междуодномодовые-и многомодовые трансиверыво многом это решение, связанное с охватом-по сравнению-стоимостью, и оно должно приниматься для каждого класса ссылок, а не один раз для всего кластера.

Мощность оптики теперь – это ограничение-первого порядка проектирования, а не сноска. Работа NVIDIA надэнергоэффективные-фабрики искусственного интеллекта с Spectrum-X Ethernet Photonicsнаглядно иллюстрирует эту тенденцию: совместная-кремниевая фотоника используется для снижения-потребления на порт и уменьшения колебаний канала связи по сравнению с традиционной подключаемой оптикой именно потому, что трансиверы относятся к компонентам с самой высокой-мощностью и самой высокой-частотой-отказов в большом кластере.

Задача 5: Видимость и устранение «слепых зон»

Проблема:без телеметрии проблема с сетью выглядит как проблема с вычислениями.Делать:отслеживайте падение пакетов, метки ECN, кадры паузы PFC, занятость очереди, ошибки каналов, использование портов, распределение потока, счетчики перегрузки сетевых карт, использование графического процессора и время завершения задания -, а затем сопоставляйте показатели структуры с показателями задания AI. Тихий-выглядящий коммутатор не гарантирует нормального обучения, а перегруженный графический процессор не гарантирует полезного прогресса.

RoCEv2 против InfiniBand для сетей кластеров искусственного интеллекта

И RoCEv2/Ethernet, и InfiniBand используют настоящие кластеры искусственного интеллекта и высокопроизводительных вычислений; Выбор зависит от масштаба, навыков команды, экосистемы, модели затрат и операционных целей. В таблице ниже представлено редакционное сравнение, а не абсолютный рейтинг - правильный ответ зависит от рабочей нагрузки- и конкретной организации-.

Фактор РоЦЭв2 / Ethernet ИнфиниБэнд
Экосистема Широкая, мультивендорная, знакомая деятельность Мощное наследие высокопроизводительных вычислений, зрелый высокопроизводительный стек-
Операции Повторно использует навыки работы с Ethernet, но требует тщательной настройки без потерь. Более специализированные,-специально созданные для тесно связанных высокопроизводительных вычислений.
Гибкость поиска Как правило, больший выбор поставщиков Часто более интегрированный стек
Производительность Прочный, если правильно спроектирован и настроен Известен низкой задержкой в ​​тесно связанных кластерах.
Масштабирование Требуется продуманная топология, контроль перегрузки, телеметрия. Надежные варианты для больших комбинаций-стилей HPC
Лучше всего подходит Команды, которым нужна гибкость Ethernet и конструкция RoCEv2,-готовая к работе с искусственным интеллектом. Команды, отдающие приоритет интегрированным, проверенным и тесно связанным HPC

Реальный вопрос не в том, какая технология победит абстрактно. Вопрос в том, сможет ли выбранная фабрика обеспечить предсказуемую пропускную способность, низкую задержку, низкие потери и операционную прозрачность в целевом масштабе графического процессора.

Масштаб графического процессора против проектирования сети

Лабораторный кластер на 64-ГП и производственный кластер на несколько-тысяч ГП — это не один и тот же проект с разным количеством портов. Масштаб меняет дизайн.

Масштаб кластера Типовой дизайн Основной фокус
До ~64 графических процессоров (лаборатория/пилот) Одноярусный-или небольшой двухъярусный-листовой-корешок, часто один коммутируемый домен Правильная конфигурация RoCEv2, чистая кабельная разводка, базовая телеметрия
~ 128–512 графических процессоров Не-двух-листовой-хребет, разделение внешнего и внутреннего интерфейса Цель превышения подписки, динамическая балансировка нагрузки, настройка ECN/PFC
~1000–4,000+ графических процессоров (производство) Многоуровневая или-оптимизированная по железной дороге,-центр обработки данных-масштабируемая серверная часть Планирование с учетом топологии-, 400G/800G, плотность мощности и оптики

Пошаговая--шаговая структура проектирования сети кластера искусственного интеллекта

Шаг 1. Определите рабочую нагрузку и масштаб графического процессора.

Начните с рабочей нагрузки, а не модели коммутатора. Уточните количество графических процессоров сейчас и в следующем цикле, является ли работа обучением, точной-настройкой, логическим выводом или смешанной, ожидаемыми коллективными шаблонами, размером контрольной точки, объемом трафика хранилища, а также является ли кластер одно- или много-клиентом.

Шаг 2. Разделите домены трафика

Решите, что принадлежит интерфейсу, а не серверу: управление, хранение и контрольные точки, обучение/RDMA и мониторинг трафика. Для небольших развертываний может быть достаточно логического разделения с помощью VLAN и QoS; для более крупных кластеров обычно проще работать и рассуждать о физическом разделении между интерфейсом и сервером.

Шаг 3. Выберите топологию и цель превышения подписки.

Leaf-spine используется по умолчанию для масштабируемых коммутационных сетей AI Ethernet. Решите один, два или более уровней; отсутствие-блокировки и превышение подписки; Графические процессоры на стойку; сетевые адаптеры на сервер; скорость и количество восходящей линии связи; работоспособность позвоночника; и размер домена сбоя. Для внутреннего обучающего трафика более низкая переподписка обеспечивает предсказуемость -, и если вы все-таки переподписываетесь, сделайте это преднамеренным соотношением, основанным на измеренном поведении рабочей нагрузки, а не случайном количестве портов.

Шаг 4. Выберите скорость коммутатора и плотность портов.

Выбирайте коммутационные платформы с учетом требуемой пропускной способности, топологии и роста -, оценивая 400G против 800G, основание, общую емкость, буферную архитектуру, поддержку RoCEv2/PFC/ECN/DCQCN, телеметрию, мощность на порт, а также NOS/автоматизацию. Не оценивайте только скорость: быстрый коммутатор без правильного контроля перегрузки, буферизации и телеметрии все равно создаст проблемы при трафике ИИ.

Шаг 5. Спланируйте сетевые адаптеры, оптику, ЦАП/AOC и кабели.

Ткань – это больше, чем переключатели. Запланируйте скорость сетевого адаптера для каждого графического процессора, тип соединения сетевого адаптера-к-коммутатору, ЦАП для коротких медных каналов, AOC и оптические модули для более длинных трасс, одномодовую оптику для расстояния и оптоволоконную систему, расположение патчей, маркировку и доступ к услугам. Здесь важно правильно подобрать подключаемый форм-фактор - aОбзор форм-факторов QSFP-DD и OSFP-Стоит посмотреть, прежде чем использовать порты коммутатора и сетевой карты на 400G/800G. Что касается кабелей, разбиение порта коммутатора с высокой-плотностью на отдельные-серверные соединения обычно означаетОтводной кабель от MPO-к-LC, а сорт волокна должен соответствовать расстоянию - от практическогопределы охвата многомодового волокна (OM1–OM5)решите, где многомодовый режим все еще работает, а где требуется одиночный-режим. Плохая конструкция кабелей может сделать технически правильную топологию неудобной для эксплуатации.

Класс ссылки Типичное расстояние Общий выбор
В-стойке графического процессора-на-листе Менее ~3 м ЦАП (медь)
Соседняя-стойка ~3–7 m АОС или ЦАП
Лист-к-позвоночнику в зале От десятков метров до ~100 м Многомодовый (OM4/OM5) + оптика SR или одномодовый-мод
По залам / в масштабе DC- ~ от 100 м до 2 км Однорежимные-трансиверы + 400G/800G

Шаг 6. Настройка транспорта без потерь и контроля перегрузок

Это наиболее чувствительная часть развертывания. Правильно классифицируйте трафик RoCEv2 и сопоставьте его с правильным приоритетом; включить PFC для этого приоритета; установить пороги ECN ниже порога PFC; подтвердить, что сетевые адаптеры реализуют запланированный ответ DCQCN; исключить несвязанный трафик из класса без потерь; и явно протестируйте паузы и блокировку начала--строки. Относитесь к PFC как к механизму безопасности, а не как к повседневному способу управления перегруженной сетью.

Шаг 7. Проверка с помощью телеметрии и искусственного интеллекта,-например, тестового трафика.

Перед запуском производственных заданий проверьте сквозную--пропускную способность, распределение задержки, хвостовую задержку, отбрасывание пакетов, поведение маркировки ECN, частоту пауз PFC, восстановление после сбоя канала-, распределение потока и производительность заданий графического процессора под нагрузкой. Простой пропускной способности iperf недостаточно - проверьте маркировку ECN, паузу PFC, глубину очереди и NCCL — все это-снижает производительностьвместе, поскольку структура, которая проходит двухточечные-точечные-тесты, все равно может захлебнуться синхронизированным коллективным обменом данными.

Часто задаваемые вопросы: Сеть кластера искусственного интеллекта

Вопрос: Может ли RoCEv2 действительно заменить InfiniBand для обучения искусственному интеллекту?

О: Для многих кластеров да, -, если структура Ethernet правильно спроектирована и настроена. Крупные операторы проводят производственное обучение на серверных компонентах RoCEv2, а консорциум Ultra Ethernet и платформы поставщиков, такие как NVIDIA Spectrum-X, специально подталкивают Ethernet к повышению производительности в масштабах ИИ-. Предостережение заключается в том, что RoCEv2 требует тщательного проектирования без потерь; он не «просто работает» сразу после установки, как это могло бы сделать специально созданная-структура HPC.

Вопрос: Когда мне действительно понадобится 800G вместо 400G?

Ответ: Когда потребность в пропускной способности на-GPU и-стойку превышает возможности каналов 400G без добавления уровней, кабелей и оптики. Обычными триггерами являются плотные серверы с -высокоскоростными сетевыми адаптерами на каждый графический процессор и более крупные кластеры, в которых в противном случае возник бы переподписка. Планируйте путь миграции заранее, чтобы 800G стал шагом, а не модернизацией.

Вопрос: Что произойдет, если PFC настроен неправильно?

О. Неправильная конфигурация PFC может привести к штормам пауз, блокировке головной--линии и распространению перегрузки, когда приостановка одного канала резервирует трафик по всей структуре. Вот почему ECN должен передавать большую часть сигналов о перегрузке, а PFC должен включаться редко; Увеличение счетчиков PFC во время нормальной работы является предупреждающим знаком, а не индикатором успеха.

Вопрос: Должна ли сеть кластера ИИ быть физически изолированной?

О: Не всегда, но более крупные кластеры обычно выигрывают от физического разделения серверной обучающей структуры от внешней. В небольших развертываниях часто можно использовать логическое разделение с помощью VLAN и QoS при условии, что пакеты хранилища и контрольных точек не попадают в класс обучения без потерь.

Вопрос: Как мне выбрать между ЦАП, AOC и оптическими трансиверами?

A: По расстоянию и мощности. ЦАП подходит для коротких медных соединений в-стойке; AOC охватывает немного более длинные и гибкие маршруты; и оптические трансиверы с многомодовым или -оптическим креплением для стойки-до-позвоночника и меж-расстояний зала. Подбирайте класс волокна в зависимости от охвата и взвешивайте мощность оптики, поскольку на трансиверы приходится основная доля как мощности сети, так и частоты отказов.

Вопрос: Нужна ли небольшим кластерам графических процессоров полная структура без потерь?

О: Им по-прежнему требуется правильная классификация конфигурации RoCEv2 -, PFC с правильным приоритетом и ECN ниже PFC -, но небольшой кластер с одним-доменом часто может пропустить много-топологию и тщательное планирование превышения подписки, которое требуется для больших структур. Поведение без потерь не является обязательным; сложность масштабирования-сложности.

Заключение и следующий шаг

Сеть кластеров искусственного интеллекта решает, будут ли графические процессоры работать как одна скоординированная система или простаивать в ожидании данных. Надежная конструкция сочетает в себе высокую пропускную способность, предсказуемую задержку, транспортировку RoCEv2 без потерь, масштабируемую топологию листьев-spine, правильную оптику и кабели, а также достаточно глубокую телеметрию, чтобы коррелировать состояние сети с работоспособностью работы. Небольшие кластеры имеют чистую топологию и правильную конфигурацию RoCEv2; Большие кластеры также должны обеспечивать разделение внешней и внутренней части, балансировку нагрузки-с учетом перегрузки, миграцию 400G/800G, плотность мощности и операции,-управляемые телеметрией.

Следующий лучший шаг — сначала исправить исходные данные: масштаб графического процессора, шаблон рабочей нагрузки, конструкцию стойки и домены трафика. Затем выберите соответствующие коммутаторы, сетевые адаптеры, оптику и конфигурацию Ethernet без потерь. Если вы параллельно просматриваете оптические и структурированные-кабельные части структуры графического процессора, нашаоптоволоконные и кабельные решения для центров обработки данныхможет помочь вам подобрать магистраль, коммутационное соединение и трансивер в соответствии с вашей топологией и расстоянием соединения. В инфраструктуре искусственного интеллекта правильная сеть не просто быстрее -, она более предсказуема, более наблюдаема и ее легче масштабировать.

 

Отправить запрос