- Yopitek Ltd/
- Каталог продуктов/
- Mellanox / NVIDIA ConnectX: сетевые адаптеры и сетевые решения/
- Коммутаторы NVIDIA Mellanox InfiniBand и Ethernet/
Коммутаторы NVIDIA Mellanox InfiniBand и Ethernet
Оглавление
Коммутаторы NVIDIA Mellanox InfiniBand и Ethernet: EDR, HDR и NDR#
Коммутаторы NVIDIA Mellanox InfiniBand составляют основу инфраструктуры кластеров обучения искусственного интеллекта и сред высокопроизводительных вычислений (HPC). Обладая высокой плотностью портов, минимальной задержкой коммутации и продвинутыми алгоритмами управления перегрузками, они обеспечивают беспрепятственное масштабирование многоузловых систем.
Каталог коммутаторов#
Ниже представлен перечень управляемых и неуправляемых коммутаторов высотой 1U для монтажа в стойку, доступных на нашем складе.
| Артикул (P/N) | Поколение чипсета | Управление | Конфигурация портов | Скорость порта | Форм-фактор | Направление охлаждения | Блок питания |
|---|---|---|---|---|---|---|---|
| MSB7800-ES2F | Switch-IB 2 (EDR) | Да (x86) | 36x QSFP28 | 100 Гбит/с | 1U стандартный | От портов к БП (P2C) | 2х БП AC |
| MSB7890-ES2R | Switch-IB 2 (EDR) | Нет | 36x QSFP28 | 100 Гбит/с | 1U стандартный | От БП к портам (C2P) | 2х БП AC |
| MQM8700-HS2F | Quantum (HDR) | Да (x86) | 40x QSFP56 | 200 Гбит/с | 1U стандартный | От портов к БП (P2C) | 2х БП AC |
| MQM8790-HS2F | Quantum (HDR) | Нет | 40x QSFP56 | 200 Гбит/с | 1U стандартный | От портов к БП (P2C) | 2х БП AC |
| MQM9700-NS2F | Quantum 2 (NDR) | Да | 32x OSFP (64 порта NDR) | 400 Гбит/с (OSFP) | 1U стандартный | От портов к БП (P2C) | 2х БП AC |
| MQM9790-NS2F | Quantum 2 (NDR) | Нет | 32x OSFP (64 порта NDR) | 400 Гбит/с (OSFP) | 1U стандартный | От портов к БП (P2C) | 2х БП AC |
Сравнение поколений InfiniBand#
| Поколение | Чипсет | Макс. скорость порта | Пропускная способность | Скорость кодирования / Модуляция | Задержка |
|---|---|---|---|---|---|
| EDR | Switch-IB 2 | 100 Гбит/с | 7,2 Тбит/с | 25 Гбит/с NRZ | 90 нс |
| HDR | Quantum | 200 Гбит/с | 16,0 Тбит/с | 50 Гбит/с PAM4 | 130 нс |
| NDR | Quantum 2 | 400 Гбит/с (поддержка 800G) | 51,2 Тбит/с | 100 Гбит/с PAM4 | 205 нс |
Топологии сетей InfiniBand#
Построение масштабируемых кластеров для обучения ИИ или физического моделирования требует использования специализированных топологий:
1. Топология Fat-Tree (неблокирующая архитектура CLOS)#
Это классическая архитектура для сетей InfiniBand. Коммутаторы объединяются в иерархические уровни (Leaf и Spine), что создает избыточные параллельные маршруты.
- Неблокирующая архитектура (коэффициент переподписки 1:1): все узлы могут одновременно обмениваться данными на полной скорости интерфейсов. Требует равенства суммарной пропускной способности восходящих каналов (к коммутаторам Spine) и нисходящих каналов (к вычислительным узлам).
- Архитектура с переподпиской (например, 2:1): снижает затраты за счет сокращения количества соединений с уровнем Spine. Оптимально для задач с высокой локализацией трафика между вычислительными узлами.
2. Сети с оптимизацией по направлениям (Rail-Optimized) для ИИ#
В узлах с несколькими графическими процессорами (например, NVIDIA HGX H100 с 8 GPU) каждый ускоритель подключен к собственному адаптеру ConnectX. При оптимизации типа Rail-Optimized все адаптеры «GPU 1» со всех серверов подключаются к коммутатору «Rail Switch 1», все адаптеры «GPU 2» — к «Rail Switch 2» и так далее. Это позволяет напрямую переложить кольцевую схему обмена данными библиотек глубокого обучения (таких как NCCL) на физические коммутаторы, сводя задержки к минимуму.
Управляемые и неуправляемые коммутаторы: роль Subnet Manager (SM)#
В отличие от сетей Ethernet, работающих по принципу Plug-and-Play благодаря протоколу ARP, сеть InfiniBand не способна передавать трафик без активного агента управления подсетью (Subnet Manager, SM). SM обнаруживает топологию сети, назначает локальные идентификаторы (LID) портам и рассчитывает таблицы маршрутизации.
- Управляемые коммутаторы: оснащены собственным процессором под управлением операционной системы MLNX-OS/Onyx, на котором запущен встроенный Subnet Manager. Идеальны для автономных небольших кластеров (примерно до 36 узлов).
- Неуправляемые коммутаторы: обладают рекордно низкой задержкой, но не имеют собственного процессора управления. Для их работы требуется внешний Subnet Manager, запущенный либо на одном из серверов (например, OpenSM), либо на управляемом коммутаторе в той же сети.