Руководство по межсетевому соединению центров обработки данных: сравнение вариантов DCI

Data Center Interconnect, обычно сокращенно DCI, представляет собой сетевую архитектуру, которая связывает два или более центров обработки данных для обмена данными, репликации рабочей нагрузки, совместного использования ресурсов и непрерывности бизнеса. В отличие от обычного подключения к глобальной сети или Интернету, DCI специально-создан для обеспечения высокой-пропускной способности, низкой-задержки и отказоустойчивого соединения между средами центров обработки данных - независимо от того, расположены ли они в городской черте, охватывают сотни километров или соединяют частную инфраструктуру с регионами общедоступного облака.

Для предприятий, оценивающих DCI, первый вопрос редко касается только пропускной способности. Практическое решение DCI зависит от доступности оптоволокна, расстояния, допустимых задержек, состояния безопасности, эксплуатационных возможностей и реалистичного пути перехода от сегодняшних каналов 100G к пропускной способности 400G или 800G. В этом руководстве описаны основные архитектуры DCI, сравниваются их преимущества-с конкретными критериями выбора и объясняются оптические компоненты, благодаря которым работает каждый подход.

Что такое соединение центров обработки данных?

Data Center Interconnect – это-сетевое соединение высокой пропускной способности между двумя или более центрами обработки данных. Это позволяет приложениям, хранилищам, серверам, облачным платформам и сетевым службам в разных физических местах работать как часть единой инфраструктуры.

Сеть DCI может подключать:

• Два корпоративных-центра обработки данных в одном мегаполисе.
• Основная производственная площадка и географически разделенный центр аварийного восстановления.
• Несколько объектов колокейшн, которые разделяют рабочие нагрузки приложений
• Корпоративные центры обработки данных и регионы публичного облака благодаря частному подключению
• Гипермасштабные кампусы с интенсивным движением транспорта на восток-запад между кластерами.

По своей сути DCI отвечает на один инженерный вопрос: как центры обработки данных могут надежно, безопасно и эффективно обмениваться данными на расстоянии -, оставляя при этом возможности для роста мощности?

Чем DCI не является

DCI иногда путают с общим подключением к Интернету или стандартным каналом глобальной сети. Глобальная сеть соединяет офисы, филиалы и приложения в различных точках предприятия. DCI более специализирован: он нацелен на высокую-емкость, низкую-задержку, часто частные каналы между средами центров обработки данных, где такие требования, как репликация хранилища, миграция виртуальных машин, синхронизация баз данных и аварийное восстановление, требуют гарантий производительности, которые общий интернет-канал не может надежно обеспечить.

Почему межсетевое соединение центров обработки данных имеет значение

Непрерывность бизнеса и аварийное восстановление

Одной из наиболее распространенных причин развертывания DCI является аварийное восстановление. Подключив основной центр обработки данных к вторичному сайту, организации могут реплицировать данные и подготовиться к аварийному переключению. Проект DCI должен соответствовать модели восстановления:

• Активен-активен:Оба сайта обслуживают производственный трафик одновременно. Это требует жесткого контроля задержек и синхронной или почти -синхронной репликации -, которая обычно возможна только на расстояниях метро менее 100 км.
• Активный-режим ожидания:Один сайт берет на себя управление во время сбоя. Асинхронная репликация допускает большую задержку, но целевая точка восстановления (RPO) напрямую зависит от задержки репликации.
• Резервное копирование и архив:Данные копируются в удаленное место для долгосрочной-защиты. Пропускная способность здесь имеет большее значение, чем задержка, но канал все равно должен завершить репликацию в пределах определенных окон резервного копирования.

Для любой схемы аварийного восстановления задержка, пропускная способность и разнообразие маршрутов канала DCI напрямую влияют на целевое время восстановления (RTO), согласованность данных и доступность услуг.

Производительность приложений с низкой-задержкой

Финансовые платформы, распределенные базы данных,-аналитика в реальном времени и конвейеры вывода ИИ чувствительны к задержкам. Для этих рабочих нагрузок соединение с высокой-емкостью и неэффективным физическим маршрутом или чрезмерным количеством переключений может по-прежнему вызывать проблемы с производительностью приложений. При планировании DCI всегда измеряйте или оценивайте сквозную-до-задержку в реальных условиях трафика -, а не только теоретическую длину волокна.

Какая пропускная способность нужна каналу DCI?

Трафик центров обработки данных растет из-за виртуализации, миграции в облака, рабочих нагрузок по обучению искусственного интеллекта, анализа данных и операций резервного копирования. Многие организации начинают с межсоединений 10G или 100G, а через два-три года им требуется 400G.

Проект DCI, который решает только сегодняшнюю потребность в трафике, часто становится узким местом перед следующим бюджетным циклом. Для городских DCI, где доступно темное волокно,Архитектура на основе DWDM-позволяет постепенно добавлять длины волн -, что является более экономичным-путем роста, чем замена всей линии связи.

Распространенные случаи использования межсетевого соединения центров обработки данных

Метро Дата-Центр Интерконнект

Metro DCI соединяет центры обработки данных в пределах одного города или агломерации, обычно на расстоянии менее 80 км. Это наиболее распространенный сценарий корпоративного DCI: два объекта совместного размещения, на которых работают активные-активные приложения, или основной сайт, связанный с ближайшим сайтом аварийного восстановления для синхронной репликации.

Для большинства проектов DCI городских городских сетей первым решением является не 100G против 400G -, а вопрос о том, имеет ли организация доступ к подходящему темному волокну. Если качественное темное волокно доступно на различных маршрутах, DWDM с когерентной подключаемой оптикой часто обеспечивает наилучшее сочетание пропускной способности, контроля и долгосрочной-экономической эффективности. В противном случае практической отправной точкой может стать услуга управляемой длины волны.

Межсетевое-центр обработки данных дальней связи

Дальние-магистральные перевозки DCI охватывают региональные или национальные расстояния - в сотни или тысячи километров. Типичные варианты использования включают географическую избыточность для соблюдения нормативных требований, распространение контента по регионам и резервное копирование-на нескольких площадках.

Долгосрочная-DCI требует более тщательного планирования. Качество сигнала ухудшается с расстоянием, что требует оптического усиления (EDFA), компенсации дисперсии и, возможно, регенерации. Задержка увеличивается с увеличением длины волокна (примерно 5 мкс на километр волокна), и разнообразие маршрутов становится сложнее проверять. Для репликации между-странами обычно необходимы асинхронные конструкции, поскольку синхронная репликация на расстояниях более 100–200 км приводит к неприемлемой задержке записи для большинства приложений.

Межсетевое взаимодействие облаков и гибридных облаков

Многие организации подключают частную инфраструктуру к общедоступным облачным средам с помощью выделенных сервисов межсоединения (таких как AWS Direct Connect, Azure ExpressRoute или Google Cloud Interconnect). Облачное соединение является частью стратегии DCI, когда корпоративным центрам обработки данных требуется надежное, частное и предсказуемое подключение к облачным регионам - для гибридных приложений, облачного-аварийного восстановления, анализа данных или постепенного перехода с локальных-локационных платформ на облачные платформы.

Соединение гипермасштабирования и кластера искусственного интеллекта

Гипермасштабирование и среды искусственного интеллекта расширяют требования DCI по сравнению с традиционными корпоративными сценариями. Распределенные обучающие кластеры графических процессоров генерируют огромные потоки трафика с востока-запада, которые чрезвычайно чувствительны к задержкам, джиттеру и потере пакетов -, даже небольшие отклонения могут остановить параллельные вычисления на тысячах ускорителей.

В таких средах конструкция DCI делает упор на высокую-плотность оптических подключений (400G и 800G на порт), низкую и предсказуемую задержку, управление трафиком-на уровне коммутационной сети и быстрое расширение емкости. Здесь различие между DCI и структурой внутри-центра данных-размывается: некоторые операторы гипермасштабирования рассматривают межсетевые соединения кампусного-масштаба как продолжение своей опорной-листовой архитектуры, а не как традиционную двухточечную--связь DCI.

Сравнение архитектур и технологий DCI

Не существует одной лучшей технологии DCI. Правильный выбор зависит от владения оптоволокном, требуемого уровня контроля, скорости роста трафика, эксплуатационных возможностей и структуры бюджета. В таблице ниже приведены основные параметры.

Темное волокно с DWDM

Темное волокно означает, что организация арендует или владеет неосвещенным волокном и активирует его с помощью собственного оптического оборудования.Плотное мультиплексирование с разделением по длине волны (DWDM)позволяет нескольким оптическим каналам - часто с 40, 80 или 96 длинами волн - проходить по одной и той же паре волокон, используя разные слоты длин волн в частотной сетке ITU-T.

Этот подход является стандартным выбором, когда организации требуется высокая производительность, надежный контроль над инфраструктурой и долгосрочная-масштабируемая платформа. Это распространено в городских DCI и сетях поставщиков услуг с высокой-пропускной способностью.

Темное волокно с DWDM является мощным, но требует тщательной оптической разработки. Команды должны проверить качество волокна (затухание, разъемы, соединения), рассчитать бюджет оптической мощности, оценить хроматическую и поляризационную модовую дисперсию для целевой зоны охвата, спланировать распределение каналов и выбрать совместимыетрансиверы и транспондеры, мультиплексорное/демультиплексорное оборудование, усилители и инструменты мониторинга. Для линии метро длиной 20–80 км с хорошим-качеством.одномодовое-волокноПассивный мультиплексор/демультиплексор DWDM с когерентными подключаемыми модулями может быть достаточным. На расстоянии более 80 км или при использовании более старого оптоволокна с более высокими потерями становятся необходимыми линейное усиление и более сложная конструкция линейной системы.

Управляемые услуги по длине волны

Услуга управляемой длины волны обеспечивает выделенную оптическую емкость, не требуя от клиента создания и эксплуатации оптического транспортного уровня. Поставщик услуг владеет оптоволокном, оборудованием и несет эксплуатационную ответственность; клиент получает гарантированную пропускную способность канала между сайтами.

Этот вариант хорошо работает, когда организации требуется надежное высокоскоростное-подключение, но не хватает инженеров-оптологов для управления оборудованием DWDM или когда на необходимом маршруте недоступно темное волокно. Компромисс-это контроль: поставщик определяет маршрутизацию, защиту и время обновления. Для предприятий, которые отдают предпочтение более быстрому развертыванию и предсказуемому уровню обслуживания, а не владению инфраструктурой, управляемые длины волн часто являются прагматичным первым шагом - с возможностью перехода на самоуправляемый-DWDM по мере роста трафика и развития собственных-специализаций.

DCI на базе OTN-

Оптическая транспортная сеть (OTN), определяемыйСтандарт ITU-T G.709, широко используется в транспортных-транспортных средах операторского уровня. OTN оборачивает клиентские сигналы (Ethernet, Fibre Channel, SONET/SDH) в стандартизированный цифровой конверт, который обеспечивает прямое исправление ошибок (FEC), мониторинг производительности (OAM), защитное переключение и мониторинг тандемных соединений -, что критически важно для сетей с несколькими-операторами, где важна изоляция неисправностей за пределами административных границ.

DCI на базе OTN-наиболее подходит поставщикам услуг, операторам связи и крупным предприятиям со сложными-требованиями к транспортировке нескольких услуг. Для типичного городского DCI предприятия, передающего только трафик Ethernet между двумя принадлежащими ему объектами, OTN может добавить ненужную сложность и стоимость. Но для операторов связи, которым необходимо мультиплексировать разнообразные клиентские сигналы, гарантировать надежность уровня SLA-и обеспечивать разделение услуг в общей инфраструктуре, OTN остается предпочтительным транспортным уровнем.

Ethernet/IP/MPLS DCI

Некоторые сети DCI работают на уровне Ethernet, IP или MPLS -, расширяя домены уровня 2, маршрутизируя трафик между центрами обработки данных или интегрируясь с существующей магистральной сетью поставщика услуг VPN. Этот подход является гибким и знаком большинству сетевых команд.

Однако, когда основным требованием является большая оптическая пропускная способность между двумя площадками, конструкция на чистом пакетном-уровне имеет ограничения. Масштабирование от 100G до нескольких-терабит DCI обычно требует объединения пакетного уровня с расположенным под ним оптическим транспортным уровнем (DWDM или OTN). Пакетный уровень обеспечивает гибкость обслуживания и управление трафиком; оптический уровень отвечает за необработанную мощность и радиус действия.

Когерентная сменная оптика для DCI

Когерентная сменная оптика -, в частности модули, соответствующие стандартуСоглашение о внедрении OIF 400ZR- стали основным инструментом создания упрощенных,-высокопроизводительных DCI. Модуль 400G ZR вписывается в стандартныйQSFP-ДДили слот OSFP на маршрутизаторе или коммутаторе, передающий 400 Гбит/с на длину волны с использованием когерентной модуляции DP-16QAM на расстояния до 120 км (с усилением) по стандартному одномодовому волокну G.652.

Ключевым преимуществом является упрощение архитектуры: размещая когерентную оптику непосредственно на лицевой панели маршрутизатора, операторы могут исключить отдельные полки транспондеров и сократить энергопотребление, пространство и стоимость. Для городского DCI между двумя маршрутизаторами с оптоволоконным кабелем-прямой- видимости достаточно пары модулей 400G ZR и пассивного мультиплексора DWDM.

Однако 400G ZR не следует рассматривать как универсальную замену полной линейной системы DWDM. Фактическая дальность зависит от оптических характеристик хост-платформы, баланса потерь в канале, качества оптоволокна и доступности усиления. Для расстояний за пределами метро или для работы с гибкими тарифами (100–400G) на региональных и дальних-маршрутах модули OpenZR+ обеспечивают расширенную зону действия и многоскоростную-возможность за счет немного более высокого энергопотребления. Перед развертыванием всегда проверяйте совместимость хоста, требования к встроенному ПО и температурные ограничения.

Выбор решения DCI: структура принятия решений

Хороший план DCI начинается с требований, а не продуктов. В таблице ниже распространенные сценарии сопоставлены с рекомендуемыми отправными точками.

Расстояние и доступность оптоволокна

Расстояние — первый фильтр. Короткую линию метро можно решить с помощью оптики прямого-детектирования или пассивного DWDM. Более длинный региональный маршрут может потребовать когерентной оптики, усиления и управления дисперсией. Прежде чем выбирать оборудование, ответьте на следующие вопросы:

• Доступно ли темное волокно, известно ли и проверено ли качество оптоволокна?
• Существуют ли физически различные пути (разные трубопроводы, разные уличные маршруты) -, а не просто логически отдельные цепи, использующие один и тот же воздуховод?
• Каковы общие потери в линии, включая потери в разъемах и соединениях?

Резервный канал, который использует тот же физический канал, что и основной путь, не является реальным разнообразием маршрутов. Прежде чем принимать решение об устойчивости, проверьте физическое разделение у поставщика оптоволокна.

Требования к задержке

Не весь трафик DCI имеет одинаковую чувствительность к задержке. Резервный трафик может допускать задержки в десятки миллисекунд. Активная-активная репликация базы данных может потребовать времени передачи менее-миллисекунды-. Задержка определяется расстоянием физического волокна (приблизительно 5 мкс/км), количеством переходов коммутации и маршрутизации, обработкой транспортного оборудования и обходами сети любого поставщика услуг.

Когда задержка имеет значение, не полагайтесь только на спецификации поставщиков. Измеряйте задержку от-до-конца в реалистичных условиях трафика, в том числе во время пиковой загрузки и аварийного переключения.

Безопасность и шифрование для DCI

Ссылки DCI часто передают конфиденциальные бизнес-данные -, финансовые записи, базы данных клиентов, медицинскую информацию, интеллектуальную собственность. Безопасность должна быть заложена в архитектуру DCI с самого начала, а не привязываться к ней после развертывания.

Для шифрования уровня 2 на скорости передачи данных:IEEE 802.1AE MACсекобеспечивает конфиденциальность и целостность данных в каналах Ethernet с нулевым снижением производительности при реализации в аппаратных ASIC. MACsec хорошо подходит для каналов DCI «точка-точка», где обе конечные точки находятся под одним и тем же административным контролем. Для шифрования уровня 3 на маршрутизируемых или много-путях IPsec остается стандартным подходом, хотя он увеличивает затраты на обработку и может снизить эффективную пропускную способность на высокоскоростных-каналах.

Для регулируемых отраслей (финансы, здравоохранение, правительство) требования соответствия могут требовать определенных стандартов шифрования, методов управления ключами или мер безопасности физического волокна.

Стоимость: CapEx против OpEx

Стоимость DCI выходит далеко за рамки цены трансивера. Полный обзор затрат должен включать аренду или владение оптоволокном, оптические модули, транспортное оборудование, маршрутизаторы и коммутаторы, установку, тестирование, инструменты мониторинга, электроэнергию и пространство, затраты на обслуживание, модернизацию и любые периодические сборы поставщика услуг.

Самостоятельное-темное волокно с DWDM обычно требует более высоких первоначальных капитальных затрат, но обеспечивает более низкую стоимость за бит с течением времени по мере добавления длин волн. Управляемые услуги сокращают первоначальные инвестиции и сложность эксплуатации, но создают текущие операционные расходы и ограничивают контроль над инфраструктурой. Правильный баланс зависит от траектории роста трафика, -собственного опыта и предпочтений организации в отношении капитальных затрат по сравнению с эксплуатационными расходами.

Оптические компоненты, используемые в сетях DCI

Физический уровень определяет охват DCI, емкость, плотность и гибкость обновления. Выбор правильных оптических компонентов так же важен, как и выбор правильной архитектуры.

Оптические трансиверы

Оптическийтрансиверыпреобразовывать электрические сигналы от коммутаторов или маршрутизаторов в оптические сигналы для передачи по оптоволокну. В сетях DCI категории модулей варьируются от 10G SFP+ для устаревших межсоединений до 100G QSFP28 для текущих корпоративных DCI и до 400G QSFP-DD/OSFP для каналов связи следующего-поколения с высокой-емкостью.

Выбор подходящего модуля зависит от хост-платформы, скорости интерфейса, типа волокна (один-мод является стандартным для DCI), требований к радиусу действия и оптического бюджета. Для DCI с коротким-дальностью действия менее 2 км может быть достаточно модулей прямого-обнаружения, таких как 400G DR4. Для расстояний метро 10–40 км распространены модули 400G FR4 или LR4. Для протяженности метрополитена до 80–120 км в настоящее время стандартом являются когерентные модули 400G ZR.

Оптика 400G DCI: какой модуль для какого расстояния?

Перед покупкой всегда проверяйте совместимость модуля с конкретным хост-коммутатором или платформой маршрутизатора. Модуль может соответствовать соответствующему стандарту, но для его надежной работы в производстве все равно потребуется проверка встроенного ПО, определенные температурные условия или определенная конфигурация линейной системы.

Системы мультиплексирования/демультиплексирования и DWDM

В DCI на основе DWDM-мультиплексор/демультиплексор объединяет несколько длин волн в одну пару волокон и разделяет их на приемном конце. Это позволяет использовать множество высокоскоростных-каналов-, каждый из которых передается по отдельномутрансивер или транспондер- для использования одной и той же оптоволоконной инфраструктуры. DWDM необходим, когда пары волокон ограничены или дороги, и ожидается рост спроса на полосу пропускания.

Для простого городского DCI с несколькими длинами волн может быть достаточно пассивного мультиплексора/демультиплексора. При более крупных развертываниях или на больших расстояниях активная система DWDM с усилителями, мониторами оптических каналов и программным обеспечением управления обеспечивает лучшую масштабируемость и видимость неисправностей.

Лучшие практики оптоволокна и физического уровня

Производительность DCI зависит от физического оптоволокна. Плохое соединение, загрязненные разъемы, чрезмерные потери на изгибах и недокументированные точки соединения могут ухудшить производительность канала и сократить полезный оптический бюджет.

Ключевые практики включают в себя использование правильныхтип одномодового-волокна(OS2/G.652.D является стандартом для городской и дальней связи-DCI), содержание всех разъемов в чистоте и проверке, соблюдение минимального радиуса изгиба, документирование каждого пути подключения, мониторингвносимая потеряв каждой точке подключения и поддержание организованных патч-панелей с четкой маркировкой. Эти детали имеют большее значение в DCI, чем в более коротких каналах внутри-центра обработки данных-, поскольку оптический бюджет более ограничен, а устранение неполадок между объектами требует больше времени-.

Контрольный список развертывания DCI

Определение требований к приложению и соглашению об уровне обслуживания

Начните с бизнес-требований, а не с каталога оборудования. Определите, какие приложения будут использовать канал DCI, является ли конструкция активной-активной или активной-резервной, целевой уровень доступности, требования к RPO и RTO, допустимую задержку, текущие и прогнозируемые потребности в полосе пропускания, а также является ли шифрование обязательным.

Аудит оптоволоконного маршрута

Для проектов с темным или частным оптоволокном проверьте физический маршрут перед подключением оборудования. Проверьте длину волокна, разнообразие маршрутов (физическое, а не только логическое), общие потери в канале, включая разъемы и соединения, запас оптического бюджета и доступность защитного пути. Запросите документацию поставщика оптоволокна и, если возможно, проведите независимое OTDR-тестирование для проверки маршрута. Линия, которая на логической схеме выглядит разнообразно, но имеет общий канал, пересекающий мост или шоссе, представляет собой единственную точку отказа, ожидающую раскрытия.

Выберите и проверьте оптику

Подбирайте оптику и транспортное оборудование в соответствии с фактическими -, а не теоретическими - требованиями. Ключевые факторы включают скорость интерфейса и форм-фактор (QSFP-ДД, OSFP), тип волокна, целевая зона охвата, энергопотребление и температурные ограничения, совместимость хост-платформы и поддержка поставщиков. Для высокоскоростного-DCI на скорости 400G необходимо тестирование совместимости на конкретной платформе коммутатора или маршрутизатора. Не предполагайте, что модуль,-соответствующий стандартам, будет работать без проверки.

Тестирование и мониторинг DCI: что проверить перед запуском-в эксплуатацию

Перед запуском производства протестируйте соединение в реальных условиях. Отслеживайте уровни оптической мощности на каждом этапе, частоту ошибок по битам (BER), сквозную-задержку-, потерю пакетов, ошибки интерфейса, поведение при отказе и использование трафика под нагрузкой. После развертывания обновляйте документацию -. Хорошие записи сокращают время устранения неполадок и обеспечивают поддержку будущих обновлений. Установите базовые показатели производительности, чтобы можно было обнаружить постепенное ухудшение (грязные разъемы, старение волокна, расползание разъема) до того, как оно приведет к сбою.

Распространенные ошибки проектирования DCI, которые увеличивают задержки и время простоя

• Определение пропускной способности только на сегодняшний день:Канал, которого сегодня «достаточно», часто становится узким местом в течение 18 месяцев, особенно если сеть DCI поддерживает рабочие нагрузки искусственного интеллекта, миграцию в облако или растущие объемы резервных копий. Запланируйте увеличение текущего пикового трафика как минимум в 2–3 раза.
• Игнорирование разнообразия маршрутов:Резервный канал, следующий по тому же физическому каналу, что и основной путь, не обеспечивает реальной устойчивости. Подтвердите физическое разделение, а не только разнообразие логических схем.
• Смешивание несовместимой оптики:Не все оптические модули одинаково хорошо работают с каждой хост-платформой. Всегда проверяйте совместимость, версии встроенного ПО и эксплуатационные ограничения перед развертыванием -, особенно для согласованных подключаемых модулей, где взаимодействие встроенного ПО DSP и программного обеспечения хоста может вызвать незначительные проблемы.
• Недооценка потребностей в мониторинге:Каналы DCI передают критический трафик. Без упреждающего мониторинга оптической мощности, тенденций BER и задержки команды не смогут обнаружить ухудшение, пока оно не затронет пользователей.
• Относиться к безопасности как к второстепенной мысли:Шифрование, контроль доступа и мониторинг каналов должны быть частью первоначальной конструкции DCI, а не добавляться задним числом после того, как аудит соответствия выявил пробел.