Руководство по обновлению Ethernet 800G: оптика, оптоволокно и коммутаторы

800G Ethernet – это высокоскоростной-интерфейс Ethernet, который передает 800 гигабит в секунду через один порт и состоит из восьми электрических или оптических линий со скоростью примерно 100 Гбит/с каждая. Он удваивает пропускную способность каждого порта по сравнению с 400G Ethernet, что позволяет сети передавать ту же пропускную способность по меньшему количеству каналов между коммутаторами, графическими процессорами и хранилищем - или гораздо большую пропускную способность по тому же числу стоек.

Но в реальных развертываниях важна не цифра в заголовке.. 800G меняет оптику, которую вы покупаете, оптоволокно и разъемы, которые вы подключаете, мощность и охлаждение, которые должна поглощать каждая стойка, а также способ проверки каналов перед их запуском в эксплуатацию. Отнеситесь к этому как к-лежачему полицейскому, и вы столкнетесь с проблемами, которых можно избежать; относитесь к этому как к архитектурному решению, и оно станет одним из самых простых способов масштабирования ИИ или облачной структуры.

Что такое 800G Ethernet?

800G Ethernet, также называемый 800GbE, передает кадры Ethernet с совокупной скоростью 800 Гбит/с. Ни один физический сигнал не передает всю эту скорость. Вместо этого интерфейс распределяет данные по восьми параллельным каналам -, восьми электрическим каналам от ASIC коммутатора к модулю и восьми оптическим каналам (или длинам волн) к оптоволоконному кабелю - и представляет их остальной части сети как одно логическое соединение.

Каждая полоса использует сигнализацию PAM4 со скоростью около 100 Гбит/с (106,25 Гбит/с в проводном режиме). Восемь из этих линий обеспечивают скорость 800 Гбит/с. Эта структура 8×100G является определяющей характеристикой сегодняшнего поколения 800G, и именно поэтому один порт 800G может заменить два порта 400G или восемь портов 100G - при условии, что коммутатор, оптика, кабели и устройство на дальнем конце согласованы в том, как распределяется эта емкость.

800G Ethernet против 400G Ethernet: что на самом деле меняется

Очевидная разница заключается в том, что 800G имеет вдвое большую совокупную пропускную способность, чем 400G. Практические различия определяют план проекта:

Единственная строка, которую больше всего игнорируют, — это требования ASIC. Модуль 800G QSFP-DD800 механически совместим с каркасом 400G QSFP-DD, поэтому физически он подходит для -, но для него требуется ASIC хоста, поддерживающая передачу сигналов 100G-на-линию. Подключите один к коммутатору 400G с пропускной способностью-на-линию, и он не будет обеспечивать передачу 800G. Планирование мощности начинается здесь, а не на лицевой панели.

Почему 800G Ethernet важен сейчас

Раньше корпоративный трафик перемещался в основном с севера-на юг, между пользователями и приложениями. Обучение искусственного интеллекта,-крупномасштабный вывод и распределенное хранилище изменили ситуацию: теперь интенсивный трафик идет на восток-запад, между ускорителями и между узлами хранения внутри структуры. Когда тысячи графических процессоров синхронизируют градиенты или обмениваются параметрами, узким местом становится сеть -, а не вычислительная машина -.

Усыновление отражает это давление. В соответствии сПрогноз Dell'Oro Group по переключению центров обработки данных, поставки портов 800G превысили 20 миллионов единиц примерно за три года с момента первой поставки - эта веха, чтобы достичь 400G, потребовалось шесть-семь лет, - почти полностью перешло на серверные сети искусственного интеллекта-. Скачок крутой именно потому, что рабочие нагрузки требуют-зависимости от полосы пропускания, чего никогда не было у компьютеров общего- назначения.

Ткани искусственного интеллекта и машинного обучения

В внутренней-сети искусственного интеллекта главный вопрос заключается не в том, будет ли 800G быстрее, а в том, уменьшит ли она переподписку между графическими процессорами, не создавая при этом новых узких мест в тепловых сетях или кабелях. Коллективные операции, такие как all-reduce, чувствительны к самому медленному пути, поэтому структура, которая вдвое сокращает количество каналов, одновременно контролируя задержку и перегрузку, напрямую улучшает время выполнения задания. Вот почему 800G первым появляется на восходящих каналах от позвоночника к-к-листам и каналах от графического процессора-к-конечным узлам в кластерах, работающих под управлением RoCEv2, где поведение без потерь и балансировка нагрузки имеют такое же значение, как и чистая пропускная способность.

Облако и гипермасштабирование

Операторы гипермасштабирования используют более высокие скорости портов для увеличения пропускной способности без увеличения сложности стойки с той же скоростью. Один восходящий канал 800G заменяет два восходящих канала 400G, что означает меньшее количество кабелей, меньшее количество управляемой оптики и больше места на единицу стойки. В масштабе это приводит к меньшему количеству точек отказа и упрощению эксплуатации кабельной системы -, которая часто перевешивает разницу в стоимости-порта.

Плотность полосы пропускания и мощность

По мере масштабирования фабрик пропускная способность на стойку становится жестким ограничением при проектировании. Создание скорости 800 Гбит/с из множества более медленных портов требует использования пространства на лицевой панели, увеличения количества кабелей и дополнительных эксплуатационных расходов. Объединение этого с портами 800G может снизить затраты энергии на каждый передаваемый бит -, но только иногда. Фактическая мощность на бит зависит от ASIC коммутатора, типа оптики (модуль LPO с линейным-приводом может потреблять 4–10 Вт, тогда как модуль DSP потребляет 14–17 Вт), радиуса действия и конструкции охлаждения. Считайте «более эффективным» требованием проверки на соответствие вашей собственной ASIC и оптике, а не гарантией.

Стандарты 800G Ethernet: IEEE 802.3df, 800GBASE-R и архитектура Lane.

На этом многие обзоры 800G заканчиваются. «800G» — это не одна спецификация -, это набор связанных стандартов, определяющих, как скорость кодируется, корректируется и передается по медным и оптоволоконным сетям.

С 800GBASE-R на IEEE 802.3df

Первая официальная спецификация 800G была разработанаКонсорциум Ethernet Technology в 2020 году как 800GBASE-R. Вместо того, чтобы изобретать новую архитектуру, компания перепрофилировала два набора существующей логики 400G из IEEE 802.3bs, модифицировала их для распределения данных по восьми физическим каналам со скоростью 106-Гбит/с и сохранила стандартную упреждающую коррекцию ошибок RS(544,514), чтобы новая скорость оставалась совместимой с существующим мышлением физического уровня. Именно повторное использование является причиной того, что 800G появился так быстро: большая часть жесткой логики уже существовала в 400G.

Затем IEEE ратифицировал формальный стандарт.IEEE 802.3df-2024был опубликован в марте 2024 года как поправка 9 к стандарту IEEE 802.3-2022, добавляющая параметры MAC, физические уровни и параметры управления для скорости 800 Гбит/с (и дополнительных физических уровней 400 Гбит/с) на основе передачи сигналов 100 Гбит/с-на-канал по медному, многомодовому и одномодовому оптоволоконному кабелю. Электрический интерфейс между ASIC и модулем соответствует стандарту IEEE 802.3ck для передачи сигналов 100G-на-канал. Работа над следующим шагом - 200 Гбит/с на полосу, обеспечивающим четыре-линии 800G и восемь-линий 1,6T, продолжается в IEEE 802.3dj.

Что на самом деле делают слои

Высокоскоростное-соединение Ethernet — это больше, чем просто кабель. Реальную работу выполняют четыре слоя, и их понимание позволит вам правильно прочитать техническое описание трансивера:

• MACобрабатывает форматирование кадров Ethernet и доступ к среде передачи.
• ПКС(Подуровень физического кодирования) кодирует данные и распределяет их по восьми полосам. В 800GBASE-R два экземпляра PCS 400G адаптированы для питания одного MAC 800G.
• ТЭК(Прямая коррекция ошибок) обнаруживает и исправляет битовые ошибки. На скоростях PAM4 частота необработанных ошибок достаточно высока, поэтому FEC не является необязательным -, именно он делает канал пригодным для использования, а тип FEC влияет на задержку.
• ПАМ4отправляет два бита на символ, используя четыре уровня амплитуды вместо двух уровней старой сигнализации NRZ, удваивая скорость передачи данных на полосу при той же скорости передачи данных - за счет гораздо более низкого запаса сигнала-по-шуму.

Типы PMD, определяющие 800G

Подуровень зависимости от физической среды (PMD) — это место, где «800G» превращается в специальный модуль, который вы можете заказать. IEEE 802.3df-2024 определяет семейство из восьми-каналов PMD по 100G-на канал:

• 800GBASE-CR8- восемь полос по медному кабелю (прямое подключение).
• 800GBASE-KR8- восемь полос через объединительную плату.
• 800GBASE-VR8/800GBASE-SR8- восемь линий по многомодовому оптоволокну, очень короткая и короткая зона действия.
• 800GBASE-DR8 и 800GBASE-DR8-2- восемь параллельных однорежимных полос длиной примерно 500 м и 2 км.

Стоит исправить одну распространенную путаницу: популярные модули 800G «FR4» и «LR4»нет802.3df восьми-полосные PMD. На практике они поставляются как2×ФР4и2×LR4- два независимых оптических модуля 400G-FR4/LR4, использующих длины волн CWDM4 по дуплексному одномодовому оптоволоконному кабелю-- или, в новейшем поколении, как настоящая четырех-оптическая система, построенная на скорости передачи сигналов 200 Гбит/с-на-полосу в соответствии со стандартом IEEE 802.3dj. Когда поставщик указывает «800G FR4», подтвердите, является ли это группой 2×400G или частью 200G-на-полосу, поскольку они взаимодействуют с разными вещами.

Оптика 800G и форм-факторы: OSFP и QSFP-DD800

В 800G доминируют два подключаемых форм-фактора: OSFP и QSFP-DD800. Оба имеют восемь полос 100G PAM4. Разница заключается в тепловых характеристиках, плотности и обратной совместимости -, и правильный ответ зависит от того, что вы строите.

ОСФП

OSFP (восьмеричный подключаемый модуль малого форм-фактора) с самого начала разрабатывался для восьми высокоскоростных-каналов связи и высокого рассеивания мощности. СогласноОСФП MSA, форм-фактор поддерживает 400G (8×50G), 800G (8×100G) и 1,6T (8×200G), вмещает до 36 портов на лицевой панели высотой 1U, а стандартный вариант поставляется со встроенным радиатором для обеспечения теплового запаса. Именно из-за этого запаса OSFP используется по умолчанию в новых кластерах AI-класса NVIDIA, где модули могут работать с мощностью 12–17 Вт и выше.

Одна деталь развертывания, которая сбивает с толку команду: OSFP поставляется в вариантах со встроенным-радиатором (IHS) и вариантом с верхним-радиатором (RHS). Сетевая карта и некоторые серверные порты требуют RHS; закажите модули IHS для этих слотов, и они физически не встанут. Перед покупкой подтвердите тип радиатора на хосте.

КСФП-DD800

QSFP-DD800 расширяет проверенное семейство QSFP-DD до 800G, сохраняя при этом ту же компактность. Его главным преимуществом является обратная совместимость: посколькуQSFP-DD800 MSAописывает, порт QSFP-DD800 также принимает модули QSFP+, QSFP28, QSFP56 и 400G QSFP-DD, что позволяет операторам повторно использовать модули, на которые отрасль уже потратила около 9 миллиардов долларов. Если вы модернизируете уже установленную систему QSFP, а не строите ее с нуля, такая непрерывность имеет большое значение. QSFP-DD800 основан непосредственно на более широкомФорм-фактор QSFP-DD, поэтому клетки, панели и рабочий инструмент сохраняются. Модули QSFP-DD800 на базе DSP-обычно потребляют 14–17 Вт, а варианты LPO — в диапазоне 4–10 Вт.

800G OSFP или QSFP-DD800: что выбрать?

Честное разделение таково: создавать с учетом тепловых режимов и дорожной карты 1,6T или создавать с учетом плотности и повторного использования.

• Выберите ОСФПдля новых структур обучения искусственного интеллекта, где каждый порт перегревается, важен тепловой запас, и вам нужен чистый путь к 1,6T (OSFP-XD / OSFP1600).
• Выберите QSFP-DD800когда вы расширяете существующую коммутационную систему QSFP-DD, вам необходима плотность передней-панели и вы хотите защитить предыдущие инвестиции в оптику и кабели.

Не гонитесь за популярностью. Решение зависит от выбранной вами платформы коммутатора, фактически доступной для нее оптики, расстояний соединения, которые вам необходимо покрыть, типа вашего волокна и вашей конструкции охлаждения.

Типы оптики 800G по дальности и оптоволокну

После установки форм-фактора оптика выбирается по расстоянию и оптоволокну, а не по скорости порта. Это единственная наиболее полезная таблица выбора для проекта 800G -, в ней разница между заказом модуля, который светится, и модуля, который не может дотянуться до дальнего конца. Ниже приведены типичные отраслевые значения; всегда сверяйтесь с конкретной таблицей данных.

Из этой таблицы вытекает несколько практических правил. SR8 и VR8 — единственные многомодовые варианты, аУстановленная вами марка OM3/OM4/OM5шапки, как далеко они достигают. Каждая однорежимная оптика, указанная выше, работает под управлением OS2, и точнаятип одномодового-волокнавлияет на потерю и расстояние. Ниже оптических опций медные и активные кабели покрывают очень короткие расстояния: пассивный ЦАП для пролетов до нескольких метров, активный электрический кабель (AEC) для диапазона примерно 3–7 м внутри и между соседними стойками и AOC, где удобна сборка фиксированного модуля-плюс-волокна.

Прорыв 800G: 2×400G, 4×200G и 8×100G

Одно из самых полезных свойств платформ 800G — это прорыв. Поскольку в порту восемь полос движения, его можно разделить. В зависимости от коммутатора, оптики и кабеля порт 800G может работать как 1×800G, 2×400G, 4×200G или 8×100G.

Это важно, потому что почти ни одна сеть не переходит на 800G одновременно. При реалистичном развертывании 800G используется в магистрали или на серверной части AI,-в то время как конечные порты, порты хранилища и сервера остаются на уровне 100G, 200G или 400G. Например, порт 800G DR8 обычно разветвляется на 2 × 400G-DR4 или 8 × 100G для питания устройств с более низкой-скоростью, а модуль 2×FR4 соединяет две существующие конечные точки 400G-FR4 вообще без разветвительного кабеля.

Прорыв – это также то место, где предположения ошибаются. Разъем, полярность оптоволокна, сопоставление полос, версия коммутатора NOS, тип оптики и поддерживаемые скорости - все это должно совпадать -, и не каждый порт 800G поддерживает каждый режим коммутации в каждой версии программного обеспечения. Планируйте физическую сторону заранее: выбираяправый отводной кабель MPOпоскольку запланированное вами разделение так же важно, как и сам модуль, и более широкоеВыбор разъема MTP или MPOвлияет на плотность и удобство эксплуатации всей ткани.

Где используется Ethernet 800G - и чего требует каждый случай

Варианты использования пересекаются, но требования, стоящие за ними, различаются. Соответствие оптики и топологии рабочей нагрузке — вот что отличает работающую фабрику 800G от дорогой.

• Обучение ИИ и ткани вывода.Приоритетом является низкая, предсказуемая задержка при интенсивной синхронизации, транспортировка без потерь (RoCEv2) и чистая балансировка нагрузки (ECMP) по всей структуре. Вылет обычно небольшой, поэтому преобладают SR8 внутри стойки и DR8 на корешке-створки; термические температуры подталкивают их к OSFP.
• Облако и гипермасштаб.Приоритетом является масштабируемая, повторяемая пропускная способность коммутационной сети.. 800G объединяет магистральные-линии восходящих каналов и полосу пропускания между-подами; обратная совместимость и простота эксплуатации часто отдают предпочтение QSFP-DD800.
• Высокопроизводительные-вычисления.Приоритетом является предсказуемое перемещение данных между вычислительными узлами и узлами хранения. Это означает, что контроль перегрузок и переключение с малой-задержкой важнее, чем пиковая пропускная способность.
• Хранение и аналитика.Приоритетом является устойчивая пропускная способность для перемещения больших наборов данных и установления контрольных точек; ограничением обычно является то, насколько быстро хранилище и фабрика могут поддерживать питание, а не скорость порта.
• Соединение центров обработки данных.Приоритеты смещаются в сторону охвата, доступности оптоволокна и бюджета мощности. Здесь 2×FR4 (2 км), 2×LR4 (10 км) и когерентный ZR/ZR+ (80 км и более) являются подходящим выбором, часто переносимым при большом-волокне-количестве волокон.Магистральная кабельная система MPO/MTPв позвоночнике.

Когда следует перейти с 400G на 800G?

800G заслужил свое место, когда существует измеримое узкое место -, а не тогда, когда он просто доступен. Ищите конкретные сигналы, прежде чем совершать:

• Восходящие линии связи 400G стабильно работают с загрузкой примерно 50–70%, оцениваемой по 95-му процентилю, а не по пиковым значениям.
• Переподписку фабрики невозможно решить путем ребалансировки трафика или добавления нескольких ссылок.
• Кластер графических процессоров масштабируется до такой степени, что потребность в полосе пропускания-на ускоритель превышает возможности 400G без значительного превышения подписки.
• Количество портов в позвоночнике или пути волокон приближаются к истощению.
• Новая версия коммутации класса 51.2T-, где 800G — это просто собственная скорость порта.

400G по-прежнему является правильным ответом, когда каналы недостаточно используются, приложения не-привязаны к сети, в существующих коммутаторах отсутствуют ASIC с поддержкой 100G-PAM4 (поэтому 800G потребует модернизации вилочного погрузчика) или мощность и охлаждение не готовы к 12–17 Вт на порт при высокой плотности.

Пример сценария миграции.Команда использует ткань с корешками-листом 400G, которая прослужила два года. Новый кластер графических процессоров подключается к сети, трафик с востока-на запад растет, а загрузка 95-го-процентиля на магистральных восходящих каналах стабилизируется примерно на 80 %. Вместо того, чтобы -прокладывать дополнительные кабели 400G, они вводят 800G только на магистрали: 800G DR8 в одиночном-режиме для 500-метровых участков от магистрали-до-листьев, при этом каждый порт 800G разбивается на 2 × 400G, где он подключается к существующим листовым коммутаторам 400G. Доступ к серверу остается на уровне 200G. Реальные победы - сокращаются примерно вдвое, а запас по запасу возвращается -, но в проекте в первую очередь необходимо решить три проблемы: новому коммутатору требуется 100G-PAM4 SerDes, каждый порт добавляет ~15 Вт тепла, которое стойки должны поглощать, а для каналов DR8 требуется одномодовое-волокно, поэтому все многомодовые участки, оставшиеся от более ранней эпохи, необходимо заменять, а не использовать повторно.

Как спланировать обновление 800G Ethernet

Обновление 800G — это проект сетевой архитектуры, а не обновление оборудования. Эти шаги выполняются в порядке от «почему» к «подтверждению».

Шаг 1: Определите проблему дорожного движения

Начните с узкого места, а не с порта. Восходящие каналы 400G постоянно перегружены? Движение с востока на запад- перерастает эту структуру? Являются ли рабочие нагрузки искусственного интеллекта или хранилища неравномерными? Не перегружена ли структура сети или у вас заканчиваются порты или оптоволокно? Если вы не можете указать на конкретную емкость или проблему перегрузки с данными, 800G преждевременен.

Шаг 2. Сопоставьте топологию

Решите, где 800G пойдет в первую очередь. Обычными точками входа являются восходящие каналы-к-листовым соединениям, внутренние-фабрики искусственного интеллекта, агрегация высокой-емкости, каналы DCI и агрегация хранилищ. Большинство команд внедряют 800G в магистраль или фабрику искусственного интеллекта, сохраняя при этом доступ к серверу на уровне 100G, 200G или 400G, а прорыв соединяет их.

Шаг 3. Проверьте возможности коммутатора и ASIC

Два коммутатора с портами 800G не равны. Подтвердите количество портов 800G, поддерживаемые форм-факторы, коммутационную способность, задержку и поведение буфера, поддержку прорыва, функции RoCEv2/без потерь, перехватчики телеметрии и автоматизации, зрелость NOS, а также тестирование совместимости поставщика. Для искусственного интеллекта и высокопроизводительных вычислений поведение перегрузки под нагрузкой имеет такое же решающее значение, как и чистая пропускная способность.

Шаг 4: Выберите правильную оптику

Используйте приведенную выше таблицу охвата-и-волокна. Сопоставьте оптику с расстоянием, типом волокна, разъемом, бюджетом мощности, температурным диапазоном, требованиями к коммутации и проверенной совместимостью коммутатора -, а затем проверьте время выполнения заказа, которое было реальным ограничением для оптики 800G и DSP. Перед заказом всегда сверяйте технические характеристики трансивера с матрицей совместимости коммутаторов.

Шаг 5. Проверка оптоволокна и кабелей

800G обнажает слабые места, более медленный канал терпим. Перед обновлением проверьте тип и класс волокна, состояние и чистоту разъема, полярность, емкость патч--панели, радиус изгиба и влияние воздушного потока более плотной кабеля. Прежде всего, убедитесь, что ссылка остается в пределах своеговносимый-бюджет потерь- в PAM4, дефектный соединитель или грязная конечная поверхность, пройденная на более низких скоростях, могут привести к возникновению ошибок в канале. Быстрый порт бесполезен, если физический уровень не является чистым и стабильным.

Шаг 6. Спланируйте питание и охлаждение

Оптика и переключатели 800G оказывают большее влияние на мощность и температуру. Коммутатор 800G высокой плотности может потреблять порядка 700–1000 Вт, а каждый порт выделяет примерно 12–17 Вт тепла. Проверьте мощность стойки, воздушный поток-обратно-сзади, контроль температуры модуля, поведение вентилятора, засорение кабеля, конструкцию горячего/холодного коридора, а также необходимость жидкостного или усовершенствованного охлаждения. Игнорирование этого приводит к регулированию, нестабильности канала или сокращению срока службы оборудования.

Шаг 7. Тестируйте перед масштабированием

Перед развертыванием проверьте в контролируемом пилотном проекте: запуск канала-, поведение FEC, задержку, потерю пакетов, обработку перегрузок, поведение при прорыве, видимость телеметрии, температуру оптики, совместимость с несколькими-поставщиками и аварийное переключение. Пилотный проект выявляет проблемы, которые гораздо труднее исправить, когда ткань уже запущена в производство.

Распространенные ошибки 800G, которых следует избегать

• Рассматриваем 800G как дополнительную-приставку.Для этого может потребоваться новая оптика, оптоволокно, охлаждение, конфигурация коммутатора и средства мониторинга -, а также ASIC коммутатора, поддерживающий 100G на полосу.
• Игнорирование деталей прорыва.Перед заказом проверьте программное обеспечение коммутатора, оптику, кабели, дальние-устройства и схему полос движения. Порт 800G, который «поддерживает прорыв», может не поддерживать именно тот режим, который вам нужен в конкретной NOS, которую вы используете.
• Выбор оптики исключительно по досягаемости.Мощность, тепловые параметры, тип разъема, совместимость и доступность — все это имеет значение -, а смешивание типов волокон — классическая ошибка, поскольку DR8/FR4/LR4 требует одномодового-модового режима и не будет работать в многомодовой сети.
• С учетом контроля за пробками.Для искусственного интеллекта и HPC сама по себе полоса пропускания не гарантирует производительность; Транспорт без потерь, управление перегрузками и балансировка нагрузки решают все.
• Забывание операций.Высокоскоростные-каналы требуют надежной телеметрии - оптическая мощность, температура модуля, ошибки FEC, потери пакетов, глубина очереди и стабильность канала — все это требует контроля.

Ключевые выводы

800G Ethernet стал базовой инфраструктурой для центров обработки данных-эпохи искусственного интеллекта, определяемой восьми-канальной архитектурой IEEE 802.3df-2024 и 800GBASE-R по 100G-на-линии. Он обеспечивает более высокую пропускную способность на порт и практичный путь масштабирования для искусственного интеллекта, облака, высокопроизводительных вычислений и плотных фабрик, а также четкий путь к 1,6T.

Но успешная модернизация 800G зависит не только от более быстрых коммутаторов. Это означает соответствие форм-фактора (OSFP или QSFP-DD800) рабочей нагрузке, выбор оптики по радиусу действия и оптоволокну, подтверждение того, что ASIC коммутатора поддерживает 100G на линию, проверку оптоволоконной установки на предмет более жестких бюджетов потерь и планирование 12–17 Вт тепла на порт. Если ваша сеть приближается к пределу 400G или вы создаете ее для ИИ и высокопроизводительных рабочих нагрузок, начните с анализа трафика, проверьте физический уровень, пилотируйте ограниченное развертывание, а затем масштабируйтесь в соответствии с четкой дорожной картой миграции.