Сетевая карта 400G или 800G: какой выбрать?

Выбор между сетевым адаптером 400G и сетевым адаптером 800G – это решение структуры, а не сравнение-страниц оформления заказа. Более быстрый адаптер окупается только тогда, когда сервер, коммутатор, оптика и кабели могут обеспечивать такую ​​скорость от начала до конца. В этом руководстве рассматриваются-компромиссы с точки зрения развертывания и приобретения, поэтому вы можете принять решение, прежде чем выделять бюджет на адаптеры, коммутаторы, трансиверы, ЦАП, AOC, AEC или оптоволокно.

Вкратце: сетевой адаптер 400G — это зрелый, экономичный-эффективный вариант по умолчанию для большинства современных задач искусственного интеллекта, высокопроизводительных вычислений, систем хранения и облачных вычислений, который четко сопоставляется с хостами NDR InfiniBand и PCIe Gen5. Сетевая карта 800G заслуживает внимания, когда вы создаете ИИ-структуру нового-поколения с более плотными графическими процессорами, более интенсивным трафиком с востока-запада и планами перехода к XDR InfiniBand, 800G Ethernet и, в конечном итоге, 1,6T.

Сетевая карта 400G против 800G

Выбирайте сетевой адаптер 400G, если ваши серверы, коммутаторы и оптическая система уже стандартизированы на 400G Ethernet или NDR InfiniBand или когда рабочая нагрузка не перегружает каждый путь от-к-GPU. Это также более безопасный вызов, когда доступность, бюджет и время квалификации имеют большее значение, чем пиковая скорость порта.

Выбирайте сетевой адаптер 800G, когда сеть становится узким местом для крупномасштабного обучения, серверов с графическими процессорами высокой-плотности или ускорителей-поколения. Это примерно вдвое уменьшает количество каналов и оптических модулей, необходимых для заданной пропускной способности, и подготавливает структуру к следующему обновлению.

Порт 800G стоит покупать только тогда, когда остальная часть системы может его обслуживать. Если хост не может предоставить адаптеру достаточное количество линий PCIe, сетевая карта 800G становится дорогим и недостаточно используемым портом, а не средством повышения производительности.

Что такое сетевая карта 400G?

Сетевая карта 400G — это сетевой адаптер, обеспечивающий скорость передачи данных до 400 гигабит в секунду на каждый порт. В средах искусственного интеллекта и HPC он обрабатывает кластерные сети графических процессоров-, распределенное обучение, доступ к хранилищу, трафик MPI, структуры RoCE и каналы InfiniBand NDR. Для большинства операторов 400G уже является большим шагом вперед по сравнению с 100G или 200G и устраняет очевидные узкие места, не требуя перепроектирования сервера и переключения уровней.

Где сегодня подходят сетевые карты 400G

Адаптеры 400G используются по умолчанию в обучающих кластерах ИИ на графических процессорах текущего-поколения, высокопроизводительных и научных-компьютерных фабриках, высокопроизводительных-сетях хранения данных, фабриках RoCEv2 Ethernet и InfiniBand, общих парках облачных серверов, а также при обновлении от 100G/200G-до-400G в помещениях смешанного поколения. В таких условиях 400G редко бывает компромиссом. Это просто правильный класс скорости, когда размер кластера, количество графических процессоров и бюджет не оправдывают дополнительную сложность 800G.

Почему 400G все еще имеет смысл

Выбор сетевой карты — это проблема-баланса системы. Если хост не может подключить адаптер 800G, если рабочая нагрузка связана с вычислительными- или хранилищами-или если магистраль все еще имеет 400G, то удаление сетевых карт 800G приведет к увеличению затрат без снижения производительности приложений. Хорошо построенная-фабрика 400G с низким уровнем переподписки, чистой топологией, RDMA, качественной оптикой и настроенным контролем перегрузки по-прежнему позволяет с легкостью выполнять сложные задачи искусственного интеллекта и высокопроизводительных вычислений.

Что такое сетевая карта 800G?

Сетевая карта 800G обеспечивает скорость до 800 гигабит в секунду на порт. Он ориентирован на центры обработки данных нового-поколения с искусственным интеллектом, крупные кластеры графических процессоров и гипермасштабируемые структуры, где спрос на связь опережает традиционные серверные сети. Поколение 800G теперь стандартизировано:стандарт IEEE 802.3df, ратифицированный в 2024 году., определяет 800 Gigabit Ethernet и поддерживает субскорости, такие как 1x800G, 2x400G и 8x100G, что делает миграцию со смешанной-скоростью практичной.

Ценность заключается не только в удвоении основной скорости.. 800G позволяет архитекторам повысить плотность полосы пропускания, сократить количество каналов и модулей, а также поддерживать более крупные структуры обучения с более агрессивным трафиком "все-ко-всем".

Почему кластеры искусственного интеллекта переходят на 800G

Обучение на больших-моделях генерирует огромный трафик между графическими процессорами-между-графическими процессорами и серверами-к-серверам. Градиентный обмен, все-сокращения, сочетание--специальных маршрутов, контрольных точек и хранения-тяжелых конвейеров — все это разрушает структуру. Поскольку ускорители становятся быстрее, сеть должна идти в ногу со временем, иначе дорогие графические процессоры простаивают в ожидании синхронизации.. 800Сетевые адаптеры G отвечают на это увеличением пропускной способности на узел, на ускоритель или на каждую сетевую шину.

800G — это коммутационное решение, а не просто адаптер

Переход на 800G меняет выбор переключателей, оптику, планирование радиуса действия, тепловой расчет, воздушный поток и компоновку стойки. В частности, выбор оптических и медных кабелей становится более строгим: порт 800G может использовать модуль OSFP или QSFP-DD, а модули на стороне коммутатора-и сетевой платы-могут различаться по тепловой и механической конструкции даже с одинаковой скоростью. Если на вашем предприятии используется структурированное волокно, заранее подтвердите типы модулей и разъемов; нашобзор форм-фактора QSFP-DDохватывает то, где это подходит по отношению к OSFP. Относитесь к 800G как к программе уровня-фабрики, а не как к замене отдельных-элементов.

Сетевая карта 400G против сетевой карты 800G

Когда выбирать сетевой адаптер 400G

Выбирайте сетевой адаптер 400G, если целью является высокопроизводительная-сеть с проверенным оборудованием, предсказуемым развертыванием и контролируемыми затратами.

Вы строите существующую инфраструктуру 400G

Если ваши коммутаторы, кабели, оптика и серверные платформы уже стандартизированы для 400G, сохранение сетевых карт 400G устраняет необходимость проверки совместимости и позволяет повторно использовать большую часть текущей экосистемы. Это особенно актуально при обновлении с 100G или 200G, где прирост производительности значителен, а экосистема гораздо более зрелая, чем 800G.

Ваша рабочая нагрузка ИИ не перегружает фабрику

Не для каждой задачи ИИ требуется 800 ГБ на сервер. Многие из них привязаны к вычислительным ресурсам-, памяти-, памяти-или ограничены эффективностью программного обеспечения, а не пропускной способностью сети. Если профилирование показывает, что сеть не является основным узким местом, сетевая карта 400G обычно обеспечивает более высокую отдачу.

Вам нужна экономичная-эффективная HPC

Многие рабочие нагрузки HPC чувствительны к задержке, режиму-передачи сообщений и перегрузке структуры, а не к общей пропускной способности. Хорошо-настроенная сеть 400G часто превосходит плохо интегрированную сеть 800G. Полезный вопрос заключается не в том, какой сетевой адаптер работает быстрее, а в том, какой дизайн сети обеспечивает лучшую производительность приложений за вложенный доллар.

Вам нужны более быстрые закупки с меньшими-рисками

Адаптеры 400G, оптику и кабели легче найти и адаптировать для большего количества платформ серверов и коммутаторов. Когда у команды ограниченное время на проверку, 400G – это выбор с меньшим-риском, который по-прежнему устраняет большинство узких мест.

Когда выбирать сетевой адаптер 800G

Выбирайте сетевой адаптер 800G, если приложение, платформа графического процессора и структура действительно могут использовать дополнительную полосу пропускания.

Вы разрабатываете систему обучения искусственному интеллекту нового-поколения

Большие учебные кластеры обеспечивают интенсивное взаимодействие «все-всем»-и восток-запад. По мере роста размера модели, количества графических процессоров и параллелизма сеть становится ограничивающим фактором. В данном случае сетевые адаптеры 800G повышают пропускную способность каждого-узла и снижают риск дросселирования графических процессоров структурой.

Вам нужна более высокая плотность полосы пропускания

800G сокращает количество портов, каналов и модулей, необходимых для обеспечения заданной пропускной способности. Это важно в плотных кластерах, где ограничено пространство в стойке, количество портов на передней-панели, прокладка кабелей и количество коммутаторов. Меньшее количество более быстрых каналов может упростить построение, при условии, что коммутационная фабрика и схема прокладки кабелей рассчитаны на это.

Вы планируете использовать платформы графических процессоров следующего-поколения

Если план действий включает в себя серверы с графическими процессорами следующего-поколения, более высокую плотность мощности стоек, жидкостное охлаждение и более крупные кластеры, то 800G станет более сильным стратегическим вызовом. Покупка 400G сегодня все еще может быть разумной, но структура должна быть спроектирована с возможностью перехода на 800G или выше.

Вы хотите сократить длительные-перебои в обновлении

Поэтапная стратегия 800G снижает трудности будущей миграции. Сначала разверните коммутаторы с поддержкой 800G-, подключите существующие сетевые адаптеры 400G через коммутационное устройство или конструкцию со смешанной-скоростью, а затем обновите серверы до 800G позже. Это защищает текущие инвестиции и одновременно готовит структуру для следующего поколения.

Когда НЕ следует выбирать сетевую карту 800G

Часто это более полезный вопрос, и он отфильтровывает покупки, о которых вы больше всего сожалеете. Не включайте 800G, если выполняется любое из следующих условий:

• Хост не может предоставить адаптеру полный путь PCIe Gen6 класса x16. Порт будет работать в нехватке, и вам придется платить за пропускную способность, которую серверная шина не может обеспечить.
• Спайн переподписан или все еще 400G. Более быстрый сетевой адаптер не исправляет ограниченную структуру; он просто удаляет узкое место на один шаг.
• Рабочая нагрузка привязана к задержке- или MPI-, а не к полосе пропускания-. Дополнительная пропускная способность мало что дает для заданий, ограничиваемых синхронизацией или небольшими-сообщениями.
• Оптика, кабели или системы охлаждения для 800G не могут быть получены и проверены на вашей временной шкале. Неквалифицированный модуль, который нестабильно работает под нагрузкой, хуже, чем более медленный канал, который остается работоспособным.
• Сегодня не существует конкретной дорожной карты роста, которая оправдывала бы премию.

Если два или более из них применимы, то 400G почти наверняка будет правильным ответом для этой сборки, а 800G останется в резерве для следующего обновления.

Сетевые адаптеры 400G и 800G для облачных центров обработки данных

Облачные ткани редко везде работают на одной скорости. Они сегментируют трафик по классам, и выбор сетевого адаптера следует за сегментом, а не за центром обработки данных в целом.

• Трафик на передней-/северной-южной стороне:400G обычно достаточно для уровней-обращения к пользователю и уровней API, где пропускная способность на-поток невелика, а количество подключений преобладает.
• Хранилище и движение с востока-на запад:ответ зависит от того, насколько дезагрегирована архитектура.. 400G охватывает большинство общих пулов; 800G помогает там, где большие распределенные накопители выдерживают нагрузку на восток-запад.
• Вывод ИИ:400G достаточно для многих облаков вывода, а 800G подходит для плотной смешанной-экспертной маршрутизации-или дезагрегированного обслуживания, когда токены перемещаются между многими узлами.
• Многопользовательская-структура:здесь коэффициент переподписки и изоляция арендаторов влияют на производительность гораздо больше, чем пиковая скорость NIC. Сбалансированная сеть 400G с сильной изоляцией часто превосходит более быструю, но перегруженную.

Поскольку рост облаков с востока-на запад происходит за счет структурированного оптоволокна, планируйте магистральные кабели рядом с сетевым адаптером; нашруководство по магистральным кабелям MPO/MTPохватывает трассы с высокой-плотностью. Как правило, используйте 400G для большинства интерфейсных-и общих облачных уровней и зарезервируйте 800G для сегментов, где преобладает интенсивное обслуживание ИИ или большие пулы с востока-запада.

Ключевые факторы выбора, помимо скорости порта

Более быстрый сетевой адаптер не гарантирует более быструю рабочую нагрузку, если его не поддерживает вся платформа. Пять факторов определяют, будет ли порт 800G работать или простаивать.

Генерация PCIe и пропускная способность хоста

Сетевая карта достигает хоста через PCIe, и этот канал является жестким потолком. Порту со скоростью 400 Гбит/с требуется примерно 50 ГБ/с в каждом направлении, который может обеспечить слот PCIe Gen5 x16 со скоростью около 63 ГБ/с в каждом направлении. Порту 800 Гбит/с требуется примерно 100 ГБ/с в каждом направлении, помимо слота Gen5 x16, поэтому адаптеры 800G обычно ожидаютспецификация PCIe 6.0 от PCI-SIG(64 ГТ/с, до 256 ГБ/с в двунаправленном режиме на x16) или необычная конструкция x32. Прежде чем переходить на 800G, подтвердите:

• поколение PCIe
• Количество дорожек и проводка слотов
• Размещение NUMA и путь от графического процессора-к-сетевому адаптеру
• Проверка поставщика-сервера для адаптера
• Поддержка BIOS и прошивки

На серверах с графическими процессорами размещение сетевых карт относительно центральных и графических процессоров определяет, насколько четко перемещаются данные. Сетевая плата класса Gen6-, установленная в слот Gen5 x8, является наиболее распространенным узким местом в этой области.

Коммутационная структура и переподписка

Скорость сетевого адаптера должна соответствовать фабрике.. 800Адаптеры G ничего не делают, если листовой-позвоночник перегружен или восходящие каналы тонкие. Проверьте скорость конечных и магистральных портов, коэффициент превышения подписки, количество сетевых шин, схему восточно--западного направления, структуру домена отказа- и требуемую полосу пропускания пополам. Для обучения более низкий коэффициент переподписки обычно дает больше производительности, чем более быстрый сетевой адаптер.

RoCE, InfiniBand и Ultra Ethernet

Фабрики искусственного интеллекта и высокопроизводительных вычислений опираются на RDMA, чтобы сократить нагрузку на ЦП, а протокол определяет сетевую карту, коммутатор, контроль перегрузки и операции. Сегодня NDR InfiniBand работает со скоростью 400 Гбит/с на порт иXDR InfiniBand достигает скорости 800 Гбит/с на порт, что соответствует уровням сетевых карт 400G и 800G. На стороне Ethernet

Спецификация 1.0 Консорциума Ultra Ethernetопределяет стек RDMA-по-Ethernet, охватывающий сетевые адаптеры, коммутаторы, оптику и кабели, предназначенный непосредственно для масштабирования-ИИ и высокопроизводительных вычислений.

Выбирайте InfiniBand для тесно интегрированной среды HPC или искусственного интеллекта с низкой-задержкой, если ваша команда знает эту экосистему. Выберите Ethernet или RoCE, чтобы получить более широкий выбор поставщиков и интеграцию с облаком. Если вам нужен стандартизированный и открытый путь для высокопроизводительного-высокопроизводительного- Ethernet следующего поколения, рассмотрите вариант Ultra Ethernet.

Оптика, форм-факторы и кабели

При 400G и 800G физическая совместимость имеет такое же значение, как и скорость. Два модуля могут иметь одну и ту же скорость, но различаются форм-фактором, тепловой схемой и требованиями к хосту. Проверьте OSFP, QSFP112, QSFP-DD, OSFP с плоской-верхней частью и ребристой-верхней частью, требования к модулю на стороне коммутатора-и стороне сетевого адаптера-, ЦАП, AEC, AOC или оптический охват, поддержку прорыва, а также кодирование и встроенное ПО поставщика. Не предполагайте, что OSFP 800G, работающий в коммутаторе, будет правильно установлен и охлаждаться в сетевой карте; многие модули коммутаторов и сетевых карт имеют разные тепловые и механические конструкции.

Проверка мощности, воздушного потока и температуры

Компоненты 800G потребляют больше энергии и нагреваются сильнее. Проверьте сетевой адаптер, оптику, порты коммутатора и путь воздушного потока при постоянной нагрузке, а не в режиме ожидания. Подтвердите мощность сетевого адаптера и оптического-модуля, направление воздушного потока и запас по охлаждению, максимальную температуру на входе, плотность кабеля и блокировку воздушного потока, а также предположения о воздушном- и жидкостном-охлаждении. Термическая нестабильность проявляется в виде перебоев в канале связи и увеличения частоты ошибок — своего рода периодических неисправностей, устранение которых в производстве занимает много времени и затрат.

Распространенные ошибки, которых следует избегать

Покупаю 800G только потому, что он быстрее

800G не становится автоматически лучше. Если рабочая нагрузка, сервер или структура не могут использовать полосу пропускания, дополнительные затраты не повлияют на производительность приложения. Сопоставьте порт с фактически имеющимся узким местом.

Игнорирование пропускной способности PCIe

Сетевая карта может передавать данные только с той скоростью, с которой позволяет хост-шина. Проверьте генерацию PCIe, количество линий и топологию сервера до выбора класса скорости, а не после доставки оборудования.

Выбор неправильного оптического модуля

При таких скоростях решающее значение имеют форм-фактор модуля и тепловая конструкция. Неправильный вариант OSFP может не соответствовать данной клетке или может подходить, но перегреваться при постоянном трафике, вызывая ошибки, которые выглядят как проблемы с инфраструктурой.

Забыв о длине кабеля

DAC, AEC, AOC, многомодовая и одномодовая оптика служат разным диапазонам расстояний, а разные сорта волокон переносят разные расстояния; нашразбивка пределов достижения OM1–OM5показывает, где каждая оценка достигает максимума. Выбор неправильного межсоединения увеличивает задержку, затраты или переработку.

Сетевые адаптеры, коммутаторы и оптика рассматриваются как отдельные покупки.

Закажите адаптер, переключатель, оптику и кабели как одну утвержденную спецификацию. Несоответствие, обнаруженное после развертывания, означает, что порт связывается, но меняется, или оборудование должно быть возвращено в середине-сборки, что гораздо более разрушительно, чем его обнаружение во время квалификации.

Заключительная рекомендация

Выберите сетевой адаптер 400G, чтобы получить проверенный и экономичный-адаптер, который подходит для современных систем искусственного интеллекта, высокопроизводительных вычислений, систем хранения и облачных фабрик. Это практичный выбор для большинства существующих кластеров графических процессоров и помещений смешанного-поколения. Выбирайте сетевой адаптер 800G, когда плотность полосы пропускания, крупномасштабная-связь с графическим процессором и готовность к обновлению перевешивают первоначальные затраты, и когда весь путь рассчитан на это.

Решение никогда не принимается только за скорость. Вопрос в том, смогут ли ваши серверы, коммутаторы, оптика, кабели, электропитание и охлаждение превратить эту скорость в производительность приложений. Дисциплина, которая защищает бюджет, проста: проверьте сетевую карту, коммутатор, оптику и кабели как единую систему, прежде чем размещать заказ.