ヴァルナ

今日、大規模な深層学習モデル（数十億のパラメータ）をトレーニングするためのシステムは、特化した「ハイパークラスター」を前提とし、必要とします：数百または数千のGPUが、NV-LinkやInfinibandなどの専用の高帯域幅の相互接続で接続されています。高価であるだけでなく、ハイパークラスターやカスタムの高速相互接続への依存は、そのようなクラスターのサイズを制限し、（a）ジョブの並列性に関するスケーラビリティの限界を生じさせ、（b）ハイパークラスター間でのリソースの断片化を引き起こします。