100G QSFP28 Spine-Конструкция листа: избегайте ошибок в портах

Фабрика 100G Spine-leaf – это один из наиболее надежных способов подключения серверов 25G, восходящих каналов 100G, кластеров хранения данных и тяжелых рабочих нагрузок типа "восток-запад-" в современном центре обработки данных. Привлекательность QSFP28 заключается в его гибкости: один порт может поддерживать собственный канал 100G или разбиваться на четыре серверных соединения 25G, поэтому один коммутатор может обслуживать как границу доступа, так и ядро ​​фабрики.

Быстрые переключатели — это самое простое. Проект 100G живет или умирает в зависимости от решений, принятых до заказа на поставку: как распределяется каждый порт, как выглядит коэффициент превышения подписки в нормальных условиях и в условиях сбоя, какая оптика соответствует реальным трассам кабеля, сколько тепла добавляет эта оптика и может ли сеть вырасти до 400G без модернизации вилочного погрузчика.

Это руководство представляет собой-справочник по планированию, не зависящий от поставщика, для групп, занимающихся сетями и инфраструктурой. Приведенные ниже цифры соответствуют текущим спецификациям Ethernet IEEE 802.3 и соответствующим соглашениям об оптических-источниках, но каждый коммутатор и трансивер имеют свою собственную таблицу данных, поэтому подтвердите точные номера приобретаемого вами оборудования.

Как читать примеры в этом руководстве.Если не указано иное, они предполагают одиночные-домашние серверы с одним 25-гигабитным сетевым адаптером каждый, 48 хост-портов на каждый лист, 100-гигабитные восходящие каналы-к-магистрали, полную ячеистую сеть, в которой каждый лист подключается к каждому позвоночнику, и включенную прямую коррекцию ошибок там, где этого требует оптика. Двойное-домирование, более быстрые сетевые карты или другое количество портов изменят каждое последующее число.

Что такое позвоночная-листовая сеть 100G?

Spine-leaf – это двухуровневая архитектура центра обработки данных, построенная на основе конечных коммутаторов и коммутаторов Spine. Листовые коммутаторы располагаются в верхней части каждой стойки и предоставляют порты,-выходящие на сервер, а также каналы восходящей связи с магистралью. Коммутаторы Spine образуют высокоскоростную-магистральную сеть. Каждый лист соединяется с каждым позвоночником, поэтому трафик между стойками перемещается от листа к позвоночнику по листу по пути одинаковой-длины.

Данная конструкция пользуется популярностью, поскольку обеспечивает:

• Предсказуемая одинаковая длина пути между любыми двумя стойками
• Встроенная поддержка интенсивного движения с востока-запада.
• Все восходящие каналы активны через ECMP, а не заблокированы связующим деревом.
• Простое горизонтальное масштабирование - добавление листьев для портов, добавление шипов для увеличения емкости.

В структуре 100G конечные соединения-к-магистрали работают на скорости 100G, а порты,-выходящие на сервер, работают на скорости 10G, 25G, 50G или 100G в зависимости от рабочей нагрузки. Сегодня доступ 25G с восходящими каналами 100G является наиболее распространенной корпоративной комбинацией.

Физический дизайн против логического дизайна

«Сетевой дизайн» охватывает два уровня, которые легко объединить. В этом руководстве основное внимание уделяется портам физического уровня и уровня емкости -, оптике, переподписке, кабелям -, поскольку это то, что вы обязуетесь сделать при покупке оборудования. Но логический уровень решает, как фабрика пересылает трафик, и формирует несколько физических вариантов.

На физической стороне находятся переключатель и выбор порта, скорость сетевого адаптера, переподписка, оптика, кабели, питание и охлаждение. С логической стороны осуществляется балансировка нагрузки ECMP-по восходящим каналам; оверлей, такой как VXLAN, с плоскостью управления BGP EVPN для многопользовательского уровня 2 и уровня 3 через маршрутизируемую подложку; двойное-домирование с MLAG или MC-LAG и LACP на границе доступа; и неудачный-размер домена. Для фабрик RDMA вам также необходимо спроектировать сеть, близкую к-без потерь, как описано ниже. Заранее определите логическую модель, поскольку она влияет на количество восходящих каналов, количество шипов, которое вы хотите для ширины ECMP, и на то, будут ли листья развернуты как пары MLAG.

Шаг 1 -. Определите скорость и рабочую нагрузку сервера.

Начинайте с рабочей нагрузки, а не оптики. Общий кластер виртуализации, структура хранения и модуль обучения ИИ имеют совершенно разные потребности, и правильный дизайн учитывает трафик.

Серверы 25G с восходящими каналами 100G

Для большинства корпоративных и частных-облачных сред доступ 25G с восходящими каналами связи 100G от листьев-к-магистрали является оптимальным вариантом: большой скачок по сравнению с 10G при сохранении разумных затрат на сетевой адаптер, кабель и коммутатор. Типичная сборка объединяет нисходящие каналы 25G, восходящие каналы 100G и соотношение 2:1 к 3:1 для общих вычислений, при этом меньшая переподписка зарезервирована для уровней хранилища и-чувствительных к задержкам. Он подходит для виртуализации, частного облака, веб-уровней и большинства корпоративных центров обработки данных.

Встроенная сеть 100G для систем хранения данных, искусственного интеллекта и высокопроизводительных вычислений

Некоторым рабочим нагрузкам требуется встроенный канал 100G к серверу: распределенное хранилище и хранилище NVMe-oF, обучение искусственному интеллекту и машинному-обучению, HPC, крупномасштабная-аналитика и RDMA с низкой-задержкой. Здесь переподписка должна быть низкой -, часто без-блокировки или близкой к ней -, поскольку проблема заключается в структуре трафика, а не только в объеме.

Рабочие нагрузки AI, HPC и RDMA генерируют плотный, синхронизированный трафик «все-на-восток-запад»: многие узлы передают данные на множество узлов одновременно, поэтому статистическое сглаживание, позволяющее сэкономить на структуре виртуализации, больше не применяется. RDMA через конвергентный Ethernet (RoCE) добавляет второе ограничение, поскольку он ожидает, что структура будет работать почти-без потерь, что на практике означает управление приоритетным потоком (PFC) и явное уведомление о перегрузке (ECN), настроенное сквозно. Структура, которая отбрасывает кадры при перегрузке, приведет к падению производительности RoCE, поэтому эти кластеры обычно создаются с соотношением 1:1 с тщательной настройкой буфера и перегрузки.

Шаг 2 -. Как рассчитать порты листового и магистрального коммутатора для структуры 100G

Планирование порта начинается с листа, а не с корешка. Работа с серверами:

1. Подсчитайте порты,-выходящие на сервер, на каждую стойку.
2. Решите, будет ли каждый из них собственным 25G, собственным 100G или промежуточным каналом.
3. Зарезервируйте порты QSFP28 для восходящих каналов связи.
4. Добавляйте запасные порты для расширения, резервирования, тестирования и замены.
5. Перерасчет переподписки производится после назначения пробоя, а не раньше.

Подсчитайте порты,-обращающиеся к серверу

Для каждой стойки укажите количество серверов, скорость сетевого адаптера, количество сетевых адаптеров на сервер, одинарное- или двойное-подключение, а также необходимые запасные части. Для стойки из 48 серверов с одним сетевым адаптером 25G каждый требуется 48 хост-портов. Двойное-размещение этих серверов в конечной паре, и количество портов доступа в паре удваивается.

Зарезервируйте порты восходящей линии связи и наблюдайте за двойным-счетом

После хост-портов зарезервируйте порты QSFP28 для позвоночника. Именно здесь скрывается самая распространенная ошибка: если одни и те же порты QSFP28 используются для коммутации 4x25G, они больше не доступны в качестве восходящих каналов. Самая большая ошибка планирования заключается не в неправильном подсчете восходящих каналов 100G, а в переоценке портов восходящих каналов, оставшихся после того, как их съел прорыв. Назначайте прорыв до расчета переподписки, иначе рассчитанное вами соотношение окажется вымыслом.

Проработанный пример помогает. Возьмем обычный лист высотой 1U с 48 хост-портами SFP28 и 8 портами QSFP28:

Благодаря шести восходящим каналам, передающим 1200 ГБ трафика доступа, лист работает с соотношением 2:1, а два порта QSFP28 остаются резервными. Назначьте каждому порту одну и ту же роль в электронной таблице, прежде чем приступать к определению размера чего-либо еще.

Оставьте свободную емкость

Не употребляйте каждую порцию в первый день. Зарезервируйте место для новых серверов, дополнительных ответвлений, временных тестовых каналов, неудачной-замены портов, перехватов мониторинга и миграции. Небольшая неиспользованная мощность обходится гораздо дешевле, чем модернизация.

Шаг 3 -. Вычисление превышения подписки, включая N-1.

При превышении подписки сравнивается общая пропускная способность,-выходящая на сервер на листе, с общей пропускной способностью восходящего канала на магистральном канале:

Коэффициент превышения подписки=общая пропускная способность нисходящей линии связи / общая пропускная способность восходящей линии связи

Для листа выше: 48 x 25G=1, 200G вниз и 6 x 100G=600G вверх, что дает 1200 / 600=2:1. Это означает, что теоретическая пропускная способность доступа в два раза превышает пропускную способность восходящей линии связи - обычно подходит для общих вычислений, где серверы редко передают данные со скоростью линии одновременно, но является реальным ограничением для систем хранения данных, искусственного интеллекта, высокопроизводительных вычислений и RDMA.

Всегда проверяйте случай N-1

Ткань может выглядеть здоровой при нормальной эксплуатации и захлебываться при сбое. Рассмотрим лист с восемью восходящими каналами 100G, равномерно распределенными по четырем позвоночникам - по два на каждый позвоночник, всего 800G, поэтому 1200G доступа дает соотношение 1,5:1. Потеряйте один позвоночник, и лист потеряет два восходящих канала до 600G, в результате чего соотношение увеличится до 2:1 на время сбоя. Если ваша цель «не хуже 2:1 даже при неудаче», вам следует начинать с соотношения 1,5:1. Рассчитайте как нормальное соотношение, так и соотношение N-1 после потери одного позвоночника или восходящей линии связи; второй номер — тот, который кусается при обслуживании.

Планирование диапазонов по рабочей нагрузке

Универсального соотношения не существует, поэтому рассматривайте следующие диапазоны планирования, а не стандарты, и сверяйте их с измеренным трафиком, где это возможно:

При обновлении проверьте текущее использование восходящего канала, пиковые нагрузки и графики «восток-запад», потоки хранения и окна резервного копирования, прежде чем переходить к соотношению.

Шаг 4 - Выберите оптику и кабели QSFP28.

Интерфейсы QSFP28 100G стандартизированы IEEE 802.3 -Поправка 802.3bmдобавлен 100GBASE-SR4 наряду с одномодовым-PHY LR4. Выбирайте оптику по расстоянию, типу волокна, разъему, мощности и совместимости коммутатора и не выбирайте по умолчанию максимальную дальность действия: дальность действия, которая вам не нужна, обычно означает стоимость и мощность, которые вам не нужны. Подберите модуль к трассе с разумным запасом.

DAC и AOC для коротких ссылок на сервер

Для соединений в-стойке и соседних-стойках практично использовать медные-кабели прямого подключения-QSFP28 (DAC) и активные оптические кабели (AOC). Пассивный ЦАП подходит для самых коротких участков - на несколько метров - при минимальных затратах и ​​мощности, тогда как AOC расширяет зону действия, легче и гибче там, где большой объем меди становится проблемой. Для доступа 25G обычно используется коммутационный ЦАП QSFP28-4x SFP28 или AOC, если коммутатор поддерживает коммутацию.

100GBASE-SR4 для коротких многомодовых восходящих каналов

SR4 переносит 100Gвосемь волокон параллельного многомодовогос использованием разъема MPO/MTP, что делает его экономически-эффективным выбором для коротких участков-к-корешка внутри ряда. Дальность действия зависит от класса волокна - примерно 70 м для OM3 и 100 м для OM4 -, поэтому полезно знать, какую дальность действия вы можете ожидать отМногомодовое волокно OM3, OM4 и OM5на твоем этаже. Основным ограничением при планировании является параллельная прокладка кабелей: коммутация MPO и полярность должны быть определены заранее.

CWDM4 или FR для одномодового-диапазона примерно до 2 км.

Для соединений между-рядами, между-комнатами или меж-залами лучше подходит одномодовая-оптика, такая как CWDM4 или FR.100G CWDM4 MSAопределяет радиус действия 2 км по одной паре одномодовых волокон с дуплексным разъемом LC и FEC. Поскольку в них используется дуплексное волокно вместо параллельного MPO, оптика CWDM4 и FR часто переходит в одномодовый режим более чисто, чем SR4 -, и на этих расстояниях выбор междуОдномодовое волокно OS1 и OS2-начинает иметь значение для вашего бюджета потерь. Более короткие одномодовые варианты-, такие как DR, охватывают расстояние примерно 500 м, и это все, что вам нужно.

100GBASE-LR4 для кампуса и DCI

LR4 – это вариант с большой-дальностью связи, обеспечивающий пропускную способность 100G.до примерно 10 км по дуплексному одномодовому оптоволоконному кабелюдля кампуса, соединения зданий-с-зданиями или-центром обработки данных-. Используйте его только там, где этого действительно требует расстояние; Оптика с большой-дальностью действия на коротких участках внутри-центра обработки данных-просто увеличивает стоимость, мощность и тепловыделение, не улучшая структуру.

QSFP28 100Сравнение оптики G

В таблице показано, где подходит каждый вариант. Рассматривайте радиусы действия как типичные плановые показатели и подтвердите точные цифры, класс волокна и требования FEC в таблице данных каждого модуля.

Рабочие примеры: маленькие, средние и большие ткани

Это упрощенные модели планирования, а не чертежи. Количество шипов обычно выбирается для равномерного разделения восходящих каналов и установки ширины ECMP: два шипа — это практический минимум для резервирования, четыре дают более мелкую детализацию N-1 и лучшее распределение нагрузки, а восемь подходят для больших структур. Количество листьев масштабируется в зависимости от необходимых вам портов сервера.

Маленькая ткань

• 8 лепестковых выключателей
• 2 переключателя позвоночника
• 48 серверных портов 25G на лист
• 4 восходящих канала 100G на лист
• 384 одиночных-порта серверов 25G

На каждый лист: 1200G вниз, 400G вверх, то есть 3:1. Подходит для общих вычислений, но не подходит для тяжелых систем хранения данных или искусственного интеллекта. Добавьте восходящие каналы или сократите доступ на каждый лист, если вам нужно более низкое соотношение.

Средняя ткань

• 16 лепестковых выключателей
• 4 переключателя позвоночника
• 48 серверных портов 25G на лист
• 6 восходящих каналов 100G на лист
• 768 одиночных-портов серверов 25G

На лист: 1200G вниз, 600G вверх, то есть 2:1. Надежный баланс для виртуализации и корпоративных рабочих нагрузок, а четыре позвоночника распределяют ECMP лучше, чем два.

Большая ткань

• 32 листовых выключателя
• 8 переключателей позвоночника
• 48 серверных портов 25G на лист
• 8 восходящих каналов 100G на лист
• 1536 одиночных-портов серверов 25G

На лист: 1200G вниз, 800G вверх, то есть 1,5:1. Больше запаса по восходящей линии связи, но больше оптики, оптоволокна, затрат, мощности и кабелей, которыми нужно управлять. В этом масштабе документация является частью проекта: маркировка, карты портов, полярность, запасная оптика, воздушный поток и мониторинг — все это необходимо спланировать перед установкой.

Планирование прорыва QSFP28 (от 100G до 4x25G)

Breakout — самая полезная и самая непонятая часть конструкции QSFP28. Если коммутатор, кабель и конфигурация позволяют это, один порт QSFP28 разделяется на четыре канала 25G SFP28, соединяя четыре сервера 25G с одного порта 100G. Он заслужил свое место, когда вам нужна высокая плотность 25G, у вас много портов QSFP28, вы хотите снизить стоимость подключения к серверу или создаете переходную структуру 25G/100G, используя ЦАП QSFP28-4x SFP28, AOC илиОтводные кабели MTP/MPOв зависимости от расстояния.

Загвоздка в том, что коммутация использует порты QSFP28. Если коммутатор QSFP28 с 32 портами- выделяет 16 портов для коммутации 4x25G, эти 16 портов поддерживают 64 сервера, но только 16 портов QSFP28 остаются для восходящих каналов, хранилища, межсоединений и запасных частей. Эмпирическое правило заключается в том, чтобы сначала подсчитать порты коммутации, а затем подсчитать то, что осталось для восходящих каналов.

Прежде чем совершить фиксацию, подтвердите несколько вещей и заранее решите, должен ли каждый запуск бытьбагажник или прорывной узел:

• Какие порты поддерживают коммутацию и существуют ли ограничения-группы портов?
• Включает ли включение прорыва соседние порты?
• Поддерживает ли операционная система коммутатора нужный вам режим?
• ЦАП, AOC или прорывная оптика на каждый прогон?
• Все четыре полосы нужны сейчас или только позже?
• Как прорыв повлияет на будущий переход на собственные серверы 100G?

Питание, охлаждение и прокладка кабелей

Коммутационная сеть 100G обеспечивает не только пропускную способность -, но и тепло, нагрузку воздушного потока и плотность кабеля. Бюджет электропитания должен охватывать шасси коммутатора и вентиляторы, оптические модули QSFP28 (а также ЦАП или AOC, если они используются), резервные источники питания, емкость-на уровне стойки и запас роста. При охлаждении необходимо учитывать расположение горячих- и холодных-коридоров, постоянный поток воздуха спереди-к-сзади или сзади-к-передней части, заглушки, препятствия для кабелей, температуру окружающей среды и-контроль температуры модулей, поскольку корпус, набитый оптикой, представляет собой реальную тепловую нагрузку.

Кабели быстро масштабируются: 16 листьев на 4 шипа — это уже 64 соединения между листьями-между-шинами, каждое из которых необходимо маркировать, прокладывать, тестировать и документировать. Полную-сетчатую структуру гораздо проще создавать и обслуживать с помощью предварительно-заключенныхМагистральная кабельная система MPO/MTPчем при использовании оптоволокна с полевой-заделкой. Команды также должны заранее согласовать соглашения о разъемах и полярности; тотпрактические различия между MTP и MPOстоит подтвердить перед заказом. Неаккуратная документация ничего не стоит в первый день и очень дорого во время первого сбоя.

Проектирование обновления 400G

Создайте ткань с реалистичным путем обновления. Вам не понадобится 400G везде в первый день, но вам следует избегать решений, которые сделают переход болезненным в дальнейшем. Начинайте думать о готовности 400G, когда восходящие каналы связи уже сильно загружены, когда добавление дополнительных линий 100G становится затруднительным, когда количество путей ECMP приближается к ограничениям платформы или когда рост искусственного интеллекта, систем хранения данных или востока-запада ускоряется.

Обычной стратегией является сначала обновление магистрали: листья сохраняют свои восходящие каналы 100G, в то время как опора с более высокой-емкостью - использует такие порты, какQSFP-ДД- добавляет запас, часто порты 400G разбиваются на 4x100G обратно к существующим листьям. Более широкая траектория определяется отраслью:Дорожная карта Ethernet Allianceтеперь работает в сетях 400G, 800G и выше, в основном благодаря искусственному интеллекту. Оценивая коммутаторы, убедитесь, что платформа поддерживает скорости, оптику, режимы коммутации и функции программного обеспечения, которые потребуются для поэтапного обновления.

Когда дизайн листа с корешком 100G-Leaf не является правильным выбором

Этот дизайн не является универсальным, и в некоторых случаях требуется что-то другое. Несколько серверов в одной или двух стойках редко оправдывают полнофункциональную-листовую сборку, где пара резервных коммутаторов проще и дешевле. Очень большие обучающие кластеры ИИ могут выйти за рамки того, с чем хорошо справляются фабрики доступа 100G и Spine 100G, и с самого начала перейти на фабрики 400G или 800G - или даже выделенную сеть InfiniBand -. И если почти весь трафик идет с севера-на юг к шлюзу, а не с востока-запада между стойками, преимущества восточного-западного позвоночника-не имеют значения, поэтому топологию следует обосновывать ростом и эксплуатационными соображениями, а не предполагать. Сопоставьте архитектуру с трафиком и масштабом, а не наоборот.

Распространенные ошибки при проектировании створки 100G Spine-Leaf

• Порты QSFP28 подсчитываем дважды.Порт представляет собой либо коммутационное соединение 4x25G, либо восходящий канал 100G, но не то и другое одновременно. Дайте каждому порту одну роль.
• Выбор оптики по максимальному вылету.Увеличение радиуса действия увеличивает стоимость и мощность; сопоставьте оптику с фактическим расстоянием и типом волокна.
• Игнорирование N-1.Проверяйте соотношение при нормальной работе и после потери позвоночника.
• Забыв об оптической мощности и тепле.Коробка, полная модулей QSFP28, представляет собой настоящую тепловую нагрузку, поэтому включите оптику в расчеты питания и охлаждения.
• Относиться к кабелям как к второстепенной мысли.Маршрутизация, маркировка, полярность и документация относятся к проектированию, а не к установке.
• Проектируем только с учетом сегодняшней скорости сервера.Если доступ 25G перейдет на 100G, оставьте место для собственной магистрали 100G или 400G.

Заключение

Хорошая конструкция опорного-листового узла 100G – это сумма решений, принятых до прибытия оборудования: определить рабочую нагрузку, правильно подсчитать порты, рассчитать переподписку как в нормальных, так и в аварийных условиях, выбрать оптику по расстоянию, тщательно спланировать прорыв, составить бюджет на электропитание и охлаждение и оставить место для 400G. Для большинства корпоративных центров обработки данных доступ 25G с восходящими каналами 100G QSFP28 остается надежным балансом производительности, стоимости и масштаба, в то время как системы хранения данных, искусственный интеллект и высокопроизводительные вычисления просто требуют снижения переподписки и более строгой проверки. Надежный подход не меняется: проектируйте, начиная с сервера, доказывайте математические расчеты в нормальных условиях и условиях N-1 и документируйте каждое соединение перед развертыванием.