Искусственный интеллект меняет дизайн центров обработки данных. Большая часть внимания уделяется графическим процессорам, ускорителям и охлаждению, но уровень, который незаметно решает, будет ли остальная часть сборки успешной, — это кабели. В кластере искусственного интеллекта физический уровень определяет, сможете ли вы на самом деле достичь 400G и 800G, останутся ли высокоскоростные каналы достаточно чистыми, чтобы пропускать трафик, выдержит ли воздушный поток полностью заполненную стойку и будет ли ваш следующий скачок скорости заменой карты или модернизацией вилочного погрузчика.
Это руководство написано для специалистов по инфраструктуре и оптическим-сетям. В нем объясняется, чем отличаются кабели искусственного интеллекта, какие требования имеют значение в реальных цифрах, как сравнивать ЦАП, AOC и структурированное волокно, пошаговый --рабочий процесс планирования, что подготовить перед переходом на 400G или 800G, а также контрольный список, который вы можете использовать. Технические ссылки здесь основаны на текущих стандартах IEEE 802.3 и ANSI/TIA-942.
Почему рабочие нагрузки искусственного интеллекта меняют требования к кабелям центров обработки данных
Традиционные корпоративные центры обработки данных строились вокруг довольно предсказуемого трафика приложений, большая часть которого направлялась с севера-на юг и перемещалась между пользователями, приложениями и внешними сетями. Кластеры ИИ меняют эту закономерность. Во время обучения и-выведения доминирующий поток идет на восток-запад: графические процессоры постоянно обмениваются градиентами и активациями друг с другом посредством коллективных операций, таких как all-reduce, обычно через структуру удаленного прямого доступа к памяти (RDMA).
Это видно по эталонным проектам поставщиков. NVIDIA создает вычислительную сеть графического процессора в виде фабрики -листовых-позвоночников на основе RDMA, используярельсовая-оптимизированная топология, так что любой графический процессор находится на расстоянии не более одного перехода от любого другого, что обеспечивает эффективность взаимодействия нескольких-GPU в масштабе. Последствием прокладки кабелей является простое количество портов: один узел с восемью-GPU может предоставлять восемь портов 400G (или 800G) восток-запад, а учебный модуль с несколькими конечными коммутаторами на стойку очень быстро увеличивает количество магистральных оптоволоконных сетей и коммутаций.
Если физический уровень не-планируется недостаточно, проблемы не проявляются в первый же день. Они появляются позже в виде перегруженных путей, затрудняющих поток воздуха, устранения неисправностей, занимающих часы, а не минут, и доработок во время первого цикла обновления. Деталь, которая выглядит тривиальной, например, перепутанная полярность MPO или загрязненная торцевая поверхность, может вывести из строя весь рельс. В инфраструктуре искусственного интеллекта прокладка кабелей является частью архитектуры с самого начала, а не последней задачей перед вводом в эксплуатацию.
Традиционные и готовые к использованию AI-кабели для центров обработки данных
Разрыв между традиционными кабелями и кабелями,-готовыми к использованию искусственного интеллекта, связан с изменением приоритетов проектирования, а не просто с увеличением количества кабелей. Традиционные конструкции оптимизированы для современных возможностей подключения; Конструкции с поддержкой искусственного интеллекта-оптимизируются по скорости миграции, плотности, предсказуемому качеству связи и удобству обслуживания в течение нескольких циклов обновления.
| Расчетный фактор | Традиционная кабельная разводка центров обработки данных | Кабели для ЦОД,-готовые к использованию искусственного интеллекта |
|---|---|---|
| Схема движения | Предсказуемый, часто с севером-югом. | Большой трафик с востока-запада от графического процессора-к-графическому процессору через структуру RDMA |
| Планирование скорости | Размер соответствует текущей скорости сети | Планируется для 400G и 800G с перспективой к 1,6T. |
| Плотность | Умеренная плотность портов и волокон | Параллельное волокно высокой-плотности, Base-8 и Base-16 MTP/MPO |
| Управление кабелями | Рассматривается в основном как организация | Рассматривается как часть воздушного потока, бесперебойной работы и технического обслуживания. |
| Путь обновления | Часто требуется пере-выдергивание кабеля | Модульность: поменяйте оптику и кассеты, сохраните оптоволоконную установку. |
| Обслуживание | Ручная трассировка, медленнее | Протестировано, маркировано, задокументировано, с установленными путями действия |
Целью является создание завода по производству волокна, который сможет выдержать хотя бы один скачок скорости и одно увеличение мощности без изменения конструкции.
Ключевые требования к кабелям для центров обработки данных AI
Планируйте физический уровень для 400G и 800G, а не только сегодняшнюю скорость
Кластеры искусственного интеллекта быстро поднимаются по скоростной лестнице: от 100G к 400G, 800G и, в конечном итоге, к 1,6T. Интерфейсы 400G и 800G теперь официально стандартизированы:IEEE 802.3df, утвержденный в 2024 году, определяет MAC, физический уровень и параметры управления для Ethernet 400 Гбит/с и 800 Гбит/с., включая типы физических носителей, такие как 800GBASE-SR8 и 800GBASE-DR8. Что касается оборудования, 400G обычно имеет форм-фактор QSFP-DD или QSFP112, а 800G использует OSFP или QSFP-DD800. Если вы сравниваете упаковку трансивера и отображение полос движения, этоТехнический обзор QSFP-DDявляется полезной отправной точкой.
Практическое правило: размер типа волокна, количество волокон и основание разъема, чтобы растение выжило при следующем прыжке. Транк, рассчитанный только на сегодняшнюю скорость порта, становится узким местом в тот момент, когда кремний и оптика коммутатора продвигаются вперед.
Используйте волокно высокой-MTP/MPO высокой плотности для подключения к кластеру графического процессора-
Высокоскоростные-каналы искусственного интеллекта представляют собой параллельную оптику, и параллельная оптика напрямую отображает количество волокон. Канал 400G-DR4 использует четыре полосы или восемь волокон, обычно заканчивающихся наконечником MPO-12. Канал 800G-SR8 или 800G-DR8 использует восемь линий или шестнадцать волокон, часто MPO-16 с торцевыми поверхностями APC. Магистральные каналы MTP/MPO Base-8 и Base-16 в сочетании с кассетами объединяют сотни таких каналов в стойке и превращают развертывание в повторяемые, проверенные на заводе шаги, а не в монтаж на месте. Предварительное прекращениеМагистральные кабели MTP/MPOи узлы прорыва (MPO-LC или MPO-MPO) являются основой этого подхода.
Плотность по-прежнему необходимо планировать, а не максимизировать. Укладка оптоволокна в стойку без учета заполнения каналов и воздушного потока создает обратное-давление на выхлопные газы оборудования и делает невозможным обслуживание портов. Устанавливайте коэффициенты заполнения и правила-управления до, а не после первой установки.
Управление вносимыми потерями, чистотой разъемов и полярностью
Высокоскоростная-оптика искусственного интеллекта менее щадящая, чем линии связи, существовавшие до нее. Сигнализация PAM4, используемая в 400G и 800G, работает с более жестким бюджетом потерь в канале, чем старые каналы NRZ, и каждая сопряженная пара MPO или LC добавляет вносимые потери, часто несколько десятых децибела на соединение. В структурированном канале с несколькими точками подключения и длиной оптоволокна этот бюджет быстро исчезает, поэтому количество разъемов является проектной переменной, а не второстепенной мыслью. Прежде чем завершить настройку канала, стоит понять различие между вносимыми потерями и обратными потерями, а также то, почему они имеют значение для параллельной оптики; этот объяснитель наВносимые потери в оптоволоконных сетяхохватывает механику.
Загрязнение является одной из основных причин сбоев полевых соединений, поэтому перед соединением необходимо проверить и очистить каждую торцевую поверхность. Полярность требует явной схемы (метод A, B или C), а в одномодовых параллельных каналах обычно используются угловые разъемы APC для контроля обратных потерь. Радиус изгиба имеет значение для плотных панелей, где волокно,-нечувствительное к изгибу, дает преимущество. Надежность здесь – это не только выбор компонентов, но и порядок установки и обслуживания.
Создайте модульную масштабируемую структурированную-кабельную архитектуру
Инфраструктура искусственного интеллекта меняется за короткий цикл, поэтому завод, который трудно модифицировать, замедляет каждое будущее развертывание. Структурированная кабельная система, состоящая из магистралей, кассет, корпусов и определенных путей, позволяет командам увеличивать пропускную способность или-перемещать фабрику без повторного-протягивания кабеля.ANSI/TIA-942 определяет минимальные требования к телекоммуникационной инфраструктуре для центров обработки данных.и топология кабельной разводки, предназначенная для размещения будущих приложений, а это именно то, что нужно для сборки ИИ. На этом фундаменте большинство обновлений скорости сводится к замене оптики и кассет, а не к восстановлению физического уровня.
Проложите кабели для обеспечения воздушного потока и охлаждения в стойках с высокой-плотностью
Стойки AI перегреваются. Плотность мощности в самых плотных стойках графических процессоров может превышать 100 кВт, и на этих уровнях перегруженные кабели напрямую вызывают рециркуляцию и появление локальных горячих точек.Руководящие принципы ASHRAE TC 9.9 предусматривают температурный контроль вокруг входа ИТ-оборудования и чистое разделение горячего-и холодного-коридора, и кабельная система либо поддерживает это, либо работает против этого. На практике это означает, где это возможно, воздушные оптоволоконные пути, четкое разделение мощности и данных, вертикальные и горизонтальные менеджеры, рассчитанные на реальное количество кабелей, дисциплинированный провис и прокладку, которая никогда не блокирует заднюю вытяжку или шкаф дымохода. Организация кабелей, обеспечивающая отслеживание связей, также снижает риск человеческих ошибок при перемещениях и изменениях.
ЦАП, AOC или структурированное волокно? Матрица выбора кабелей для центров обработки данных с искусственным интеллектом
Не существует единой лучшей среды для кластера ИИ; правильный выбор определяется охватом и ролью. Внутри стойки медные-медные кабели по-прежнему выигрывают по стоимости, мощности и задержке. Поскольку каналы связи охватывают ряды и залы, одномодовое волокно становится масштабируемой магистральной сетью. В приведенной ниже матрице сравниваются распространенные варианты так, как они фактически оцениваются в обзоре проекта.
| Вариант | Типичный охват | Типичная скорость | Где это подходит | Носитель и разъем | Стоимость и мощность | Лучший-вариант использования |
|---|---|---|---|---|---|---|
| Пассивный ЦАП | Примерно до 3 м | До 400G (например, 400G-CR8) | Внутри-стойки и прилегающей-верхней части--стойки | Twinax медь, интегрированные концы | Самая низкая стоимость, самая низкая мощность, самая низкая задержка | Графический процессор или сервер для листания в той же или следующей стойке |
| сертификат соответствия | От нескольких метров до примерно 30 м, в некоторых случаях длиннее | 400Г и 800Г | В ряду, на соседних стойках | Многомодовое ядро, фиксированные концы приемопередатчика | Низкая мощность, не требуется очистка торцевой поверхности в полевых условиях | Постоянный сервер-к-конечным каналам за пределами досягаемости DAC |
| Многомодовое структурированное волокно (OM4/OM5) | Десятки метров, примерно до 100 м, короче при 800G | 400G и 800G СР/ВР | Листовой-корешок в зале | OM4/OM5 с MTP/MPO и LC | Многоразовый и обслуживаемый | Короткие ссылки-к-корешку и ряду-к-строкам |
| Одномодовое структурированное волокно-(OS2) | От 500 м до 2 км (DR/FR), до 10 км (LR) | 400G и 800G ДР/ФР/ЛР | Корешок, поперечная-комната, пересекающая-здание | OS2 с MTP/MPO (APC) и LC/APC | Высочайший охват и масштабируемость | Восходящие каналы Spine, перекрестные-залы и более крупные матрицы графических процессоров |
Именно поэтому общее утверждение типа «оптоволокно всегда предпочтительнее» требует оговорки: оптоволокно — это масштабируемая основа для структуры, но пассивный ЦАП по-прежнему является лучшим инженерным выбором для одного-прыжка внутри стойки.
Как спланировать кабельную разводку центра обработки данных с искусственным интеллектом, шаг за шагом
Шаг 1. Сопоставьте рабочую нагрузку ИИ и топологию сети
Начните с рабочей нагрузки. Большой учебный модуль, группа логических выводов с высокой-пропускной способностью, кластер HPC и развертывание с большим объемом хранилища-не используют один и тот же профиль трафика. Затем нанесите на карту места соединения вычислительных ресурсов графического процессора (восток-запад), хранилища, севера-юга и внешних-сетей-управления полосой пропускания. Для развертывания на основе чистого вывода может вообще не потребоваться большая коммутационная сеть "восток-запад", в то время как модуль для обучения с несколькими-стойками понадобится. Проектируйте с учетом фактического транспортного потока, а не только высоты стойки.
Шаг 2. Зафиксируйте текущие и будущие целевые значения скорости
Определите как первый этап, так и следующий. Если модуль работает с пропускной способностью 400G сегодня и 800G в следующем году, то оптоволоконный завод должен быть рассчитан на 800G сейчас. За этим горизонтом уже ведется работа над Ethernet-класса:Рабочая группа IEEE P802.3dj определяет работу 200G, 400G, 800G и 1,6 Тбит/с с использованием сигнализации 200 Гбит/с-на-полосу.. Зная, в каком направлении движется дорожная карта, вы узнаете, какое количество волокон и пропускную способность маршрутов необходимо зарезервировать.
Шаг 3. Выберите носитель и соединители с полями
Вопрос OS2-против-OM4 в основном касается широкого круга пользователей. OM4 подходит для соединений с листьями длиной менее-100 м, но радиус действия уменьшается с ростом скорости, поэтому, когда каналы пересекают ряды или залы или когда вам нужен запас мощности 800G DR/FR, одномодовая OS2 является более безопасной основой. Рассмотрениеограничения по расстоянию от многомодового волокна от OM1 до OM5делает компромисс-конкретным. Сопоставьте базу MPO (12 против 16) со схемой оптоволокна и заблаговременно спланируйте полярность; для панелей с высокой-плотностью этоРуководство по выбору MTP и MPOохватывает существенные различия. Если скорость трансивера и порта не совпадают, спланируйте прорывы (от MPO к LC), а не импровизируйте во время установки.
Шаг 4. Совместное планирование плотности размещения стоек, путей и воздушного потока
Расположение стойки, прокладка кабелей и охлаждение — это одно решение в среде искусственного интеллекта с высокой-плотностью, а не три. Перед установкой подсчитайте, сколько кабелей входит и выходит из каждой стойки, решите, где расположены патч-панели, запланируйте провисание и убедитесь, что технический специалист может добраться до порта и заменить его, не нарушая действующих соединений. Оставьте запас для роста в лотках и коэффициентах заполнения. Стойка, которая при вводе в эксплуатацию выглядит чистой, становится непригодной для эксплуатации после двух циклов обновления, если в первый день каналы были исчерпаны.
Шаг 5. Тестирование, документирование и поддержание в соответствии со спецификациями
Проверьте каждое соединение в соответствии со спецификацией проекта, что для высокоскоростного оптоволокна означает тестирование вносимых-потерь, рефлектометр, если необходимо, проверку полярности и проверку торцевой поверхности. Задокументируйте каждый порт, магистраль, кассету и путь, включая схему полярности, длину и измеренные потери, с помощью меток, соответствующих-созданным чертежам. Техническое обслуживание становится рутинным: очистка торцевой поверхности, периодические проверки, контроль маркировки и изменений. Следующий звукпрактика установки оптоволоконного кабелянатяжение и радиус изгиба защищают бюджет потерь, который вы тестировали.
Что подготовить перед переходом на 400G или 800G
Миграции терпят неудачу на физическом уровне чаще, чем на оптике. Прежде чем резать, проделайте следующее:
- Подтвердите тип и количество волокон, а также убедитесь, что существующий OM4 по-прежнему достигает целевой скорости, поскольку поддерживаемое расстояние уменьшается по мере увеличения скорости линии.
- Убедитесь, что основание разъема соответствует новой оптике (MPO-12 и MPO-16) и что схема полярности сохраняется вплотную.
- Пересчитайте бюджет потерь каналов для PAM4, затем уменьшите количество соединений там, где это возможно, и повторно-проверьте каждую конечную поверхность.
- Подтвердите пропускную способность и емкость лотка для дополнительных кабелей, а также проверьте тепловой запас стойки для оптики более высокой-мощности.
- Заранее подготовьте кассеты, коробки, этикетки и план испытаний, чтобы переключение было-заменой, а не повторным-извлечением.
Распространенные ошибки, которых следует избегать
Определение размеров только для сегодняшней пропускной способности.Завод, построенный для нынешних скоростей, быстро устаревает. Создайте реалистичный путь к более высокой скорости и более высокой плотности портов.
Относитесь к прокладке кабелей как к косметике.Аккуратная прокладка кабелей полезна, но управление на самом деле связано с воздушным потоком, доступом и изоляцией неисправностей, а не с внешним видом.
Доступ для обслуживания пожертвован в пользу плотности.Высокая-плотность не означает "максимально компактную". Если технический специалист не может безопасно отследить и заменить соединение, проект будет стоить вам денег во время реальных операций.
Покупка компонентов по отдельности.Кабели, разъемы, панели, трансиверы, стойки и пути образуют один канал. Деталь, которая сама по себе выглядит дешевой, может закрывать всю ткань, когда она масштабируется.
Контрольный список готовности кабелей к AI-Ready
Проработайте их перед масштабированием графических процессоров. Каждый пункт имеет конкретное условие прохождения, а не расплывчатое «да» или «нет».
- Запас скорости:Может ли установленное волокно поддерживать хотя бы один скачок скорости (например, с 400G на 800G) без обратного-вытягивания, и соответствует ли количество волокон карте полос оптики (восемь или шестнадцать волокон)?
- Бюджет потерь:Проверен ли каждый высокоскоростной канал-в пределах допустимых потерь при вставке PAM4-, а также проверено ли количество соединений и проверена конечная поверхность?
- Плотность и сервис:Может ли технический специалист добраться до любого порта, отследить его и заменить, не нарушая при этом работающую шину?
- Расход воздуха:Обеспечивают ли проходы чистотой задней выхлопной системы и ограждения прохода, а также разделены ли мощность и данные?
- Документация:Проверено ли каждое соединение, записано ли оно с указанием схемы полярности, длины и потерь и помечено ли оно в соответствии с-встроенными чертежами?
- Шкала:Распространяется ли оптимизированная топология Leaf-Spine, Rail- на следующий модуль без изменения дизайна?
- Медиа подходит:Выбирается ли среда каждого канала с учетом дальности действия, скорости, теплового воздействия и удобства обслуживания, с ЦАП в-стойке и OS2 в залах?
Если несколько ответов отрицательные, перепроектируйте физический уровень до масштабирования рабочих нагрузок ИИ, а не после первого расширения.
Часто задаваемые вопросы
Вопрос: Какие кабели нужны сетям AI 400G и 800G?
О: Они работают по параллельной оптике по оптоволокну MTP/MPO. Канал 400G-DR4 использует восемь волокон, обычно MPO-12, тогда как 800G-SR8 или 800G-DR8 использует шестнадцать волокон, часто MPO-16 с APC. OM4 или OM5 покрывает малую дальность действия, OS2 — большую дальность действия, а пассивный ЦАП обрабатывает самые короткие переходы внутри стойки. Сами интерфейсы определены в IEEE 802.3df.
Вопрос. Что лучше подходит для центров обработки данных с искусственным интеллектом: одномодовое-волокно или многомодовое волокно?
Ответ: Это зависит от расстояния. Многомодовые OM4 или OM5 экономически-эффективны для конечных-магистральных каналов длиной менее 100 м, но поддерживаемое расстояние сокращается при 800G. Однорежимный-OS2 является лучшей основой для соединения перекрестных рядов или залов, а также если вам нужен охват 800G DR/FR и будущий запас мощности 1,6T. По этой причине многие крупные фабрики стандартизируют OS2.
Вопрос: Когда центр обработки данных с искусственным интеллектом должен использовать ЦАП, AOC или оптические трансиверы?
О: Используйте пассивный ЦАП для каналов длиной до трех метров внутри или между соседними стойками, где это обеспечивает минимальную стоимость, мощность и задержку. Используйте AOC для постоянных соединений на расстоянии от нескольких метров до примерно десятков метров. Используйте подключаемые трансиверы со структурированным волокном, когда вам нужна дальность действия, повторное использование и возможность обслуживания канала.
Вопрос. Как рассчитать бюджет потерь в кабеле для высокоскоростных-каналов?
О: Начните с допуска вносимых-потерь канала, указанного в стандарте трансивера (например, 800GBASE-SR8 или 800GBASE-DR8). Вычтите затухание в волокне, умноженное на длину, плюс потери в каждой сопряженной паре разъемов, которые часто составляют несколько десятых децибела, плюс любые соединения, и оставьте запас в запасе. Бюджеты PAM4 более ограничены, чем у старых каналов NRZ, поэтому количество подключений и чистота конечной поверхности напрямую определяют, пройдет ли канал.
Вопрос. Как прокладка кабелей влияет на охлаждение в стойках AI с высокой-плотностью?
О. Перегруженные пучки кабелей затрудняют поток воздуха, создают обратное-давление на выхлопные газы оборудования, а также вызывают рециркуляцию и появление горячих точек, что важно при плотности стоек графических процессоров, которая может превышать 100 кВт. Верхние пути, разделение питания и данных, правильно подобранные размеры менеджеров и прокладка маршрутов, обеспечивающая чистоту выхлопных газов и защитной оболочки, — все это защищает систему охлаждения.
Вопрос: Подходит ли медь для центров обработки данных искусственного интеллекта?
О: Да, для коротких соединений в-стойке и соседних-стойках, где ЦАП является эффективным выбором. При высокой-плотности и длинных трассах используется оптоволокно для обеспечения пропускной способности, охвата и масштабируемости.
Вопрос: Почему разъемы MTP/MPO часто используются в кабелях AI?
О: Они несут от восьми до двадцати-четырех волокон в одном наконечнике (это именно то, что нужно для параллельной оптики), и они позволяют использовать предварительно-магистральные соединения для быстрой, повторяемой установки с высокой-плотностью.
Ключевые выводы
Рабочие нагрузки искусственного интеллекта меняют требования к кабельной системе центров обработки данных в сторону более высокой пропускной способности, более плотного параллельного оптоволокна, ограниченного бюджета потерь, маршрутизации-с учетом воздушного потока и коротких циклов обновления. Физический уровень сам по себе не сделает графические процессоры быстрее, но неправильный уровень ограничивает производительность, надежность и скорость обновления всей среды.
Самый безопасный принцип проектирования — спланировать оптоволоконную линию, пропускную способность каналов, архитектуру исправлений и модель документации до того, как стойки с графическими процессорами приземлятся, а не после первого цикла расширения. Создайте хотя бы один быстрый скачок, выбирайте носитель по назначению, а не по привычке, и относитесь к чистоте разъема, полярности и потоку воздуха как к первоклассным-конструкционным ограничениям. Перед развертыванием или расширением проверьте текущую кабельную систему на соответствие приведенному выше контрольному списку; Для структурированной кабельной системы и компонентов MTP/MPO изучите нашуоптоволоконные решения.
