- Yopitek Ltd/
- 製品一覧/
- Mellanox / NVIDIA ConnectX ネットワークカード＆ネットワーキングソリューション/
- NVIDIA Mellanox InfiniBand & Ethernet スイッチ/
NVIDIA Mellanox InfiniBand & Ethernet スイッチ
目次
NVIDIA Mellanox InfiniBand & Ethernet スイッチ — EDR, HDR & NDR#
NVIDIA Mellanox InfiniBandスイッチは、最新のAIトレーニングクラスタやハイパフォーマンス・コンピューティング（HPC）環境の強固な骨格（バックボーン）を構築します。高いポート密度、極めて低いスイッチ遅延（レイテンシ）、および高度な輻輳制御機能を備えており、マルチノードシステムのシームレスな拡張を実現します。
スイッチ製品一覧#
以下は、現在弊社で取り扱っているマネージド/アンマネージド1Uラックマウントスイッチの一覧です。
| 型番 | チップセット世代 | 管理機能（Managed） | ポート構成 | ポート速度 | 形状 | エアフロー方向 | 電源仕様 |
|---|---|---|---|---|---|---|---|
| MSB7800-ES2F | Switch-IB 2 (EDR) | あり (x86) | 36x QSFP28 | 100Gb/s | 1U標準ラックマウント | ポート側吸気・電源側排気 (P2C) | デュアルAC電源 |
| MSB7890-ES2R | Switch-IB 2 (EDR) | なし | 36x QSFP28 | 100Gb/s | 1U標準ラックマウント | 電源側吸気・ポート側排気 (C2P) | デュアルAC電源 |
| MQM8700-HS2F | Quantum (HDR) | あり (x86) | 40x QSFP56 | 200Gb/s | 1U標準ラックマウント | ポート側吸気・電源側排気 (P2C) | デュアルAC電源 |
| MQM8790-HS2F | Quantum (HDR) | なし | 40x QSFP56 | 200Gb/s | 1U標準ラックマウント | ポート側吸気・電源側排気 (P2C) | デュアルAC電源 |
| MQM9700-NS2F | Quantum 2 (NDR) | あり | 32x OSFP（NDR 64ポート対応） | 400Gb/s (OSFP) | 1U標準ラックマウント | ポート側吸気・電源側排気 (P2C) | デュアルAC電源 |
| MQM9790-NS2F | Quantum 2 (NDR) | なし | 32x OSFP（NDR 64ポート対応） | 400Gb/s (OSFP) | 1U標準ラックマウント | ポート側吸気・電源側排気 (P2C) | デュアルAC電源 |
InfiniBand 世代別の比較#
| 世代 | チップセット | 最大ポート速度 | スイッチ容量 | 信号レート / 変調方式 | レイテンシ |
|---|---|---|---|---|---|
| EDR | Switch-IB 2 | 100 Gb/s | 7.2 Tb/s | 25 Gb/s NRZ | 90 ns |
| HDR | Quantum | 200 Gb/s | 16.0 Tb/s | 50 Gb/s PAM4 | 130 ns |
| NDR | Quantum 2 | 400 Gb/s (800G対応可能) | 51.2 Tb/s | 100 Gb/s PAM4 | 205 ns |
InfiniBand ネットワークトポロジーガイド#
AIトレーニングや物理シミュレーション向けの大規模クラスタを構築するには、用途に応じたトポロジー設計が必要です。
1. Fat-Tree（ノンブロッキング CLOS）トポロジー#
InfiniBandネットワークにおける最も標準的なアーキテクチャです。スイッチを階層化（リーフとスパイン）して配置し、並列した複数の通信経路を確保します。
- ノンブロッキング（1:1 設計）：すべてのノードが同時に最大ワイヤースピードで通信できます。スパインへのアップリンク帯域幅と、ノードへのダウンリンク帯域幅が等しくなるように設計します。
- オーバーサブスクリプション（例：2:1 設計）：スパインへの接続リンク数を減らすことでスイッチコストを抑えます。通信が局所的な計算ノード間に限定されるワークロードに適しています。
2. レール最適化（Rail-Optimized）AI ネットワーク#
マルチGPU搭載ノード（8基のGPUを搭載するNVIDIA HGX H100など）では、個々のGPUに専用のConnectX NICが直結されています。レール最適化トポロジーでは、すべてのサーバー上の「GPU 1」用NICを「レールスイッチ1」へ、「GPU 2」用NICを「レールスイッチ2」へといった形で物理スイッチを独立して接続します。これにより、深層学習ライブラリ（NCCLなど）のリング型通信パターンが物理スイッチの経路にダイレクトにマッピングされ、通信の遅延（レイテンシ）を徹底的に抑えることができます。
マネージドとアンマネージドの違い ＆ サブネットマネージャー（SM）#
ARPなどによってプラグアンドプレイで通信が始まるEthernetとは異なり、InfiniBandネットワークは稼働中のサブネットマネージャー（SM）が存在しなければパケットを一切転送できません。SMはネットワークトポロジーを自動検出した上で、各ノードにローカル識別子（LID）を割り当て、最適なルーティング経路を計算します。
- マネージドスイッチ：MLNX-OSやOnyxなどのOSを稼働させるCPUを内蔵しており、スイッチ単体でサブネットマネージャーを実行できます。小規模な独立クラスタ（最大36ノード程度）に最適です。
- アンマネージドスイッチ：極限までレイテンシを排除した設計ですが、制御用のCPUを内蔵していません。このため、ホストサーバー上でOpenSMを起動するか、ファブリック内の別のマネージドスイッチ上でサブネットマネージャーを実行させる必要があります。