OpenAI、AIトレーニングネットワーク向けMRCプロトコルを発表

OpenAIは、人工知能開発における最大のボトルネックの一つである、大規模トレーニングクラスターにおけるネットワークの信頼性を解決するための重要な一歩を踏み出しました。同社は最近、Open Compute Project（OCP）を通じて公開された新しいスーパーコンピュータネットワーキング標準である、マルチパス信頼性接続（MRC）プロトコルを発表しました。 MRCは、最先端のモデルをトレーニングするために並行して動作する数千ものGPUを搭載した巨大なデータセンターである、ギガスケールAIファクトリー向けに特別に設計されています。従来のネットワーキングプロトコルは、単一のリンク障害がトレーニング実行全体を数時間、場合によっては数日間停止させる可能性があるこれらの環境では、しばしば困難に直面します。MRCは、マルチパスデータ伝送を可能にすることでこれに対処します。つまり、データは複数の冗長経路を同時に移動できます。1つの経路が故障した場合、トラフィックは即座に別の経路に迂回され、トレーニングパイプラインは中断なく流れ続けます。 この革新は、AIモデルのサイズが指数関数的に拡大するにつれて極めて重要です。単一のフロンティアモデルをトレーニングするには数万のアクセラレータが必要になる可能性があり、それらを接続するネットワーキングファブリックは、壊滅的な障害の潜在的なポイントになります。ネットワークレベルでの回復力とパフォーマンスを向上させることで、MRCはトレーニングジョブがより速く完了し、無駄な計算サイクルを減らすのに役立ちます。 OpenAIがOCPを通じてMRCを公開するという決定は注目に値します。これは、オープンなインフラ標準へのコミットメントを示しており、他のAIラボやハイパースケーラーがこのプロトコルを採用し、それを基に構築することを可能にします。信頼性の高いネットワーキングが独自の利点ではなく共有の基盤となるため、これは業界全体の進歩を加速させる可能性があります。 AI実務者にとって、MRCは舞台裏での画期的な進歩を表しています。ほとんどの注目はモデルアーキテクチャやトレーニングアルゴリズムに集まりますが、それらを支える物理的および論理的なインフラも同様に重要です。MRCにより、OpenAIは現代のAIにおける最も困難なエンジニアリング課題の一つ、すなわち前例のない規模でシステムを稼働させ続け、データを流し続けることに取り組んでいます。