InfiniBand против RoCE для сетей вывода искусственного интеллекта

ВыбиратьИнфиниБэндкогда ваша рабочая нагрузка вывода живет или умирает в зависимости от предсказуемой задержки хвоста, и выбирайтеРоЦЕ(RDMA через конвергентный Ethernet). Если вам нужна производительность класса RDMA-в фабрике Ethernet, вы можете масштабировать ее, совместно использовать и работать с уже имеющейся у вас командой. Ни один из вариантов не выигрывает везде. Правильный выбор зависит от вашей схемы вывода, целевых показателей задержки p99 и p999, масштаба графического процессора, бюджета и того, сколько специалистов по настройке Ethernet без потерь-на самом деле имеется в вашей команде.

Почему сеть имеет большее значение, чем ожидают команды по выводу

В течение многих лет логический вывод рассматривался как легкая половина истории с графическим процессором: модель загружалась на один узел, запросы обслуживались независимо, очень мало восточно--западного трафика. Эта картинка уже устарела. Современный вывод становится все более распределенным, и некоторые закономерности оказывают реальное давление на структуру.

• Тензорный параллелизмразделяет один слой между графическими процессорами, поэтому каждый шаг токена запускает все операции-сокращения или всех-сбора между ними. Это частый,-чувствительный к задержке трафик между-GPU, который графические процессоры блокируют во время ожидания.
• Параллелизм трубопроводовпередает активации от одного этапа к другому, часто между узлами, добавляя межузловые зависимости к каждому прямому проходу.
• Дезагрегированное предварительное заполнение и декодированиеотделяет фазу-тяжелого предварительного заполнения от фазы декодирования,-чувствительной к задержке, а затем перемещает KV-кеш между ними. Эти передачи большие и прерывистые, и любая задержка напрямую проявляется в уменьшении времени-до-первого-токена и задержки между-токенами.
• Извлечение-дополненной генерации (RAG)добавляет трафик с востока-запада в векторные и поисковые службы. Обычно это менее критично к задержке-, чем при коллективных операциях, но при этом структура все равно нагружается, особенно при большом объеме запросов.
• Многопользовательское обслуживание-помещает множество моделей и пользователей в одну структуру, где микровсплески и шумные-эффекты соседей становятся доминирующим риском.

Когда сеть является узким местом, симптомы становятся дорогостоящими: увеличение времени-до-первого-токена, зависание графических процессоров во время ожидания данных, пропускная способность, которая падает при всплесках нагрузки, а также нестабильность p95 и p99. И вот та часть, которая сбивает с толку тесты: средняя задержка все это скрывает. Производственный вывод оценивается по хвосту, а не по среднему значению.

InfiniBand против RoCE: сводная таблица для вывода AI

Что такое InfiniBand?

InfiniBand – это специально-сетевая структура, изначально разработанная для обеспечения низкой задержки, высокой пропускной способности и связи без потерь. Это не более быстрый вариант Ethernet. Он поставляется с собственными адаптерами хост-каналов, коммутаторами, менеджером подсети, кабельной экосистемой и моделью управления-перегрузкой. Его определяющей ценностью является детерминированное поведение: многие графические процессоры могут обмениваться данными с жесткими требованиями к времени, и структура продолжает вести себя стабильно, даже когда коллективный трафик интенсивен.

Современные платформы InfiniBand,-ориентированные на искусственный интеллект, расширяют эту базу возможностями, ориентированными непосредственно на большие кластеры графических процессоров. Например, линейка NVIDIA Quantum InfiniBand добавляетадаптивная маршрутизация,-сетевые вычисления и контроль перегрузки на основе телеметрии-, которые помогают фабрике разумно распределять трафик и изолировать нагрузку одного клиента от нагрузки другого. Например, InfiniBand заслужил свое место, когда рабочая нагрузка не допускает дрожания или когда несколько узлов графического процессора должны быстро и последовательно обмениваться данными.

Компромиссами- являются стоимость, концентрация экосистемы и специализация операций. Выделенная фабрика InfiniBand означает выделенные коммутаторы, адаптеры, кабели или оптические модули, а также инженеров, которым удобно управлять фабрикой InfiniBand. Для организации, уже эксплуатирующей крупные сети Ethernet, подключение отдельной структуры усложняет закупки,-планирование запасных частей и накладные расходы на мониторинг.

Что такое RoCE (RDMA через конвергентный Ethernet)?

RoCE обеспечивает RDMA (прямое перемещение данных из памяти-в-память с низкой нагрузкой на ЦП в сетях Ethernet. RoCEv2, версия, используемая в современных центрах обработки данных, обеспечивает маршрутизацию по IP-сетям уровня 3 и стандартизированаТорговая ассоциация InfiniBand. Именно эта маршрутизируемость позволяет RoCE естественным образом вписаться в конструкции конечных -магистральных сетей Ethernet, одновременно повторно используя знакомые сетевые карты, коммутаторы, оптику и инструменты мониторинга.

Загвоздка в том, что транспорты RDMA предполагают работу сети почти-без потерь. Отбросьте пакет, и транспорт вернется к режиму повторной передачи, который разрушает задержку хвоста. Таким образом, RoCE необходимо, чтобы Ethernet под ним вел себя как структура без потерь, и это зависит, в частности, от тщательной настройки двух механизмов:Приоритетное управление потоком (IEEE 802.1Qbb), который приостанавливает один класс трафика, чтобы предотвратить падение, иЯвное уведомление о перегрузке (ECN), что заранее сигнализирует о перегрузке, поэтому отправители замедляются до переполнения буферов. Добавьте к этому управление очередями, распределение буферов и сопоставление QoS, и станет ясно, что высокопроизводительный-RoCE — это не обычный Ethernet.

Если все сделано правильно, RoCE обеспечивает достаточную задержку и пропускную способность для широкого спектра производственных сервисов вывода, а многие рабочие нагрузки вывода менее жестко синхронизированы, чем распределенное обучение, что работает в пользу RoCE. Если все сделано плохо, это приводит к потере пакетов, блокировке начала--линии, распространению перегрузок и нестабильности хвостов, и все это напрямую приводит к снижению качества обслуживания.

Задержка InfiniBand или RoCE: что лучше для вывода p99?

Обе структуры могут обеспечивать сеть с высокой-пропускной способностью и низкой-задержкой. Они различаются тем, как они туда попадают. InfiniBand имеет детерминированную конструкцию, поэтому джиттер остается низким даже при смешанной нагрузке. RoCE может соответствовать ему для многих рабочих нагрузок, но результат зависит от структуры Ethernet и от того, насколько хорошо она настроена.

С точки зрения развертывания реальной проблемой в производстве редко является пиковая пропускная способность. Это дрожание при смешанном, пульсирующем много-трафике. Структура RoCE, которая успешно проходит чистый тест пропускной способности в стиле iperf-, все равно может не достичь цели p99 в тот момент, когда на сцену выходят микровзрывы и конфликты. Именно в этом разрыве между лабораторными показателями и производственным соглашением об уровне обслуживания кроется большинство сюрпризов.

InfiniBand имеет преимущество, когда:

• У службы есть строгие целевые значения задержки p99 или p999.
• Вывод охватывает несколько узлов графического процессора с тензорным или конвейерным параллелизмом или использует дезагрегированное предварительное заполнение и декодирование.
• Использование графического процессора очень чувствительно к задержке в сети, поэтому задержки обходятся дорого.
• В кластере выполняется небольшое количество рабочих нагрузок-с высоким приоритетом, где предсказуемость перевешивает гибкость.

RoCE обычно достаточно хорош, когда:

• Запросы в основном независимы или связь слабая.
• Работа выполняется внутри узла или небольшого количества узлов.
• Пропускная способность пакетной обработки имеет большее значение, чем просто сверх-низкая задержка.
• Команда уже эксплуатирует Ethernet, и гибкость цен и поставщиков является приоритетом.
• Кластер поддерживает несколько клиентов или смешанные рабочие нагрузки.

Стоимость RoCE или InfiniBand: что на самом деле влияет на совокупную стоимость владения?

RoCE часто называют более дешевым вариантом, но цена коммутатора — лишь малая часть картины. При реалистичном сравнении рассматривается весь стек: сетевые адаптеры или HCA, коммутаторы, оптические модули, ЦАП, AOC и оптоволоконные кабели, топология стойки, питание и охлаждение, сетевая операционная система, мониторинг и телеметрия, время разработки, запасные части, поддержка поставщиков и путь к 400G или 800G.

InfiniBand обычно требует более высоких первоначальных затрат, поскольку требует выделенной структуры и специализированных компонентов. В средах, где детерминированное поведение является главным приоритетом, это может сократить усилия по настройке и устранению неполадок, которые требуются для структуры Ethernet без потерь. RoCE снижает затраты на оборудование, когда существующее Ethernet-состояние с правильной поддержкой моста центра обработки данных может быть повторно использовано, но при этом усилия переключаются на проектирование, проверку, мониторинг и устранение неполадок структуры без потерь. Низкая-конструкция RoCE быстро становится дорогой, если она вызывает нестабильную задержку и повторяющиеся пожаротушения.

По мере роста скорости затраты и риски концентрируются на физическом уровне. При 400G и 800G оптика доминирует как в режиме счета, так и в режиме отказа. Большинство высокоскоростных-портов причаливаютQSFP-DD или аналогичные форм-факторы, и сопоставляя правильноеодномодовая-или многомодовая оптикавашей реальной досягаемости — это один из самых простых способов избежать перерасхода средств на структуру, не требующую модулей-дальнего расстояния.

Грубо говоря: RoCE – не самый дешевый вариант, если у вашей команды нет опыта работы с-Ethernet без потерь. Экономия на оборудовании может быть быстро съедена инженерными затратами на поддержание стабильности структуры.

Масштабируемость и операции

Масштабируемость — это больше, чем количество портов. Он включает в себя то, насколько легко структура развертывается, отслеживается, расширяется и восстанавливается в случае сбоя.

InfiniBand эффективен, если кластер с самого начала спроектирован как выделенная высокопроизводительная-структура. Он обеспечивает единообразное поведение в любом масштабе, но требует использования специальных инструментов InfiniBand-, таких как менеджер подсети и унифицированное управление структурой, а также персонала, знакомого с концепциями InfiniBand. Это делает его естественным выбором для централизованных кластеров искусственного интеллекта, построенных на основе рабочих нагрузок графических процессоров.

RoCE вписывается в проекты центров обработки данных Ethernet: топологии листьев-позвоночников, IP-маршрутизация, ECMP и знакомые методы мониторинга. Именно поэтому он подходит для облачного-стиля и многопользовательской-инфраструктуры графических процессоров. Дисциплина, которую он требует, — это последовательность. PFC, ECN, QoS, управление буфером и контроль перегрузки должны быть согласованы на всем пути, поскольку небольшая неправильная конфигурация в одном углу структуры может распространить и ухудшить работу многих рабочих нагрузок одновременно. Физический уровень также должен масштабироваться без ошибок; высокая-плотностьМагистральные и коммутационные кабели MPO и MTPсохраняет управляемость растущей листовой-позвоночной ткани, а не превращает каждое расширение в головоломку с прокладкой кабелей.

Стоит отметить точку зрения зеркального-образа: InfiniBand трудно оправдать, когда вывод остается в основном в пределах одного узла, а структура практически не используется.

Какая сеть для каждой рабочей нагрузки вывода

Когда RoCE достаточно хорош, а когда он становится рискованным

RoCE достаточно хорош для независимых или слабосвязанных запросов, -ориентированной на пропускную способность пакетной работы и много-кластеров, где вы можете настроить изоляцию, особенно если команда свободно владеет Data Center Bridgeing Ethernet. Это становится рискованным по определенным, узнаваемым причинам:

• ПФК штормы.Кадры паузы распространяются в восходящем направлении и замораживают трафик, который не имел ничего общего с исходной перегрузкой.
• Руководитель-от-блокировки линии.Грубое сопоставление приоритетов позволяет одному перегруженному классу останавливать другие, находящиеся в очереди.
• Неправильная настройка ECN.Отметьте слишком поздно, и вы получите капли; отметьте слишком агрессивно, и вы без необходимости замедлите пропускную способность.
• Заторы микровзрывов.Менее-секундные пакеты переполняют буферы, но остаются невидимыми для мониторинга этих выборок с разрешением в одну{1}}секунду.
• Несогласованная конфигурация.Несовпадающие настройки на листе и позвоночнике приводят к тому, что затор распространяется, а не остается локальным.

Ничто из этого не является причиной избегать RoCE. Это причины для последовательного проектирования структуры без потерь и инвестиций в мелкодетализированную телеметрию с поддержкой микропорывов- перед масштабированием.

Когда InfiniBand того стоит и когда вы переплачиваете

InfiniBand оправдывает себя при строгих целевых показателях p99 и p999, тесно связанном обслуживании нескольких-узлов и критически важных-рабочих нагрузках, где штрафы по соглашению об уровне обслуживания высоки, особенно в выделенном кластере графических процессоров, созданном на основе структуры. Вероятно, вы переплачиваете, когда вывод остается внутри узла, когда работа ориентирована на -пакетную работу, когда вам нужна одна и та же структура для хранения, управления и многопользовательского облачного трафика, или когда вам просто не хватает эксплуатационных возможностей для эффективной работы InfiniBand.

Затраты, которые не указаны в стоимости коммутатора, реальны: концентрация экосистемы, накладные расходы на эксплуатацию второй фабрики параллельно с вашей сетью Ethernet и отдельное планирование запасных частей, оптики и мониторинга.

Как протестировать InfiniBand и RoCE, прежде чем сделать выбор

Не принимайте решения о репутации протокола или спецификации. Определите эталон, который напоминает производство. Практическая последовательность:

• Определите SLA в хвостах.Установите p50, p95, p99 и p999 для времени-до-первого-токена и задержки между-токенами, а не просто среднего значения.
• Воспроизведите реалистичный трафик.Используйте пакетные модели смешанного размера и параллельную работу нескольких-клиентов, а не один чистый поток.
• Нагрузка до пробок.Продвигайте структуру до тех пор, пока она не станет действительно конкурентной, а затем измерьте загрузку графического процессора. Если графические процессоры зависают в сети, узким местом является инфраструктура.
• Следите за правильными счетчиками.Отслеживайте кадры паузы, метки ECN, потери пакетов, повторные передачи, счетчики ошибок портов, а на 400G и 800G — ошибки FEC.
• Проверьте физический уровень.Чистое, правильно установленное волокно имеет значение;тщательная установка оптоволокнапредотвращает периодические,-трудно-диагностируемые ошибки, которым подвержены-высокоскоростные соединения.

Если RoCE выдержит целевой показатель p99 при реалистичной, конфликтной, многопользовательской нагрузке-со стабильными счетчиками, это надежный и экономически-эффективный выбор. Если он проходит только однопоточные-тесты, значит, вы еще не протестировали то, что определяет ваше соглашение об уровне обслуживания.

Распространенные ошибки, которых следует избегать

• Предполагая, что все выводы представляют собой легкую сеть.Некоторые выводы просты и независимы; некоторые из них распределены,-чувствительны к задержкам и требуют-нехватки пропускной способности. Если относиться ко всему этому как к чему-то простому, это приводит к неразвитой инфраструктуре.
• Сравнивая только среднюю задержку.Производственный вывод зависит от хвоста. Всегда оценивайте p95, p99 и p999 при реалистичном трафике.
• Рассматриваем RoCE как Ethernet с возможностью подключения-и-play.Высокопроизводительная-RoCE требует продуманной конструкции коммутационной сети без потерь-, контроля перегрузок и непрерывного наблюдения.
• Выбираю InfiniBand только потому, что он быстрее.Оптимальный вариант производительности не всегда является лучшим вариантом для бизнеса. Если рабочая нагрузка не требует детерминированного поведения, RoCE может принести большую пользу.
• Игнорирование физического уровня.На скоростях 400G и 800G кабели, оптика, разъемы и чистота оптоволокна создают периодические ошибки, которые трудно обнаружить и дорого исправить.

Итог

Для вывода ИИ действительны InfiniBand и RoCE, и они служат разным приоритетам. Выбирайте InfiniBand, если вам нужна наиболее стабильная сеть с низкой-задержкой для работы в режиме реального времени,-чувствительная к соглашению об уровне обслуживания-или тесно связанная логика. Выбирайте RoCE, если вам нужна масштабируемая,-на базе Ethernet, экономичная-структура для пакетного вывода, много-сервисов графического процессора, рабочих нагрузок RAG и гибкой инфраструктуры.

Решение должно начинаться с рабочей нагрузки, целевой задержки, масштаба кластера, ваших операционных возможностей и плана обновления, а не с протокола. Если ваш кластер должен поддерживать строгий p99 при большой нагрузке, InfiniBand заслуживает серьезного внимания. Если ваша цель — экономично масштабировать логический вывод в центре обработки данных Ethernet, RoCE обычно является более практичным путем. В любом случае перед фиксацией проверьте рабочую среду,-например, загрузку.