NVIDIA、SKテレコム、そして韓国の半導体設計会社リベリオンズは を締結した 。NVIDIAのグラフィックプロセッサがプロンプト処理の初期段階を担当し、リベリオンズが開発中のチップが応答を生成する。SKテレコムは、自社のAIデータセンターの一つでこの複合システムの試験を実施する予定だ。
このプロジェクトにより、RebellionsはNvidiaのラック内で自社ハードウェアのテストを行うことが可能になり、SK Telecomは異なるチップに異なるタスクを割り当てることでAIサービスのコスト削減や効率化が可能かどうかを検証できる。 通信事業者は 開発・検証に関する合意について説明した。両社は統合システムの性能結果をまだ公表していない。
企業が建設に合意したもの
この合意は、ソウルで開催されたNvidiaのAI Dayイベントで締結された。 同社の発表、この設計では、開発中のニューラルプロセッシングユニットであるRebel R200を、NVLink Fusionを使用してNvidiaのハードウェアに接続する。この技術により、チップ設計者は独自のプロセッサをNvidiaのラックインフラストラクチャに統合できる。提案されたシステムは、NvidiaのMGXラック設計を使用してハードウェアを統合する。
SKテレコムの役割は、AIデータセンターにシステムを設置し、商用サービスに適しているかどうかを判断する前に、その性能と安定性を評価することです。同社 の計画で は、チップとそれらの間のリンクが連携して動作する必要があるラック全体をテストすることになっています。Nvidiaは、RebellionsのR200システムが2028年に展開可能になると予想していると述べています。これはハードウェアの目標であり、SKテレコムのサービス開始日が確定したわけではありません。
一つの答えを出すのに二種類の作業が必要な理由
推論とは、AIモデルが学習後に実行する処理のことです。言語モデルの場合、最初のステップはユーザーの入力とそれに付随するコンテキストを処理することです。このステップはプリフィルと呼ばれ、入力の作業レコードを作成します。モデルは、デコード時にこのレコードを使用して、一度に1つのトークンを生成します。トークンは単語または単語の一部です。Nvidia 技術ドキュメント には、これらのステップがマシンに異なる負荷をかける理由が説明されています。
長いプロンプトを一度に処理するには、かなりの計算量が必要になる場合があります。デコード中、モデルは応答を生成する際にメモリから繰り返し読み込みます。GPU DistServeの研究者たちは、それらを異なるワーカーに割り当てることで、新しいプロンプトの読み込み作業が既に生成されている応答を中断しないようにできることを発見しました。彼らの実験ではRebellionsチップはテストされていません。ソウルプロジェクトでは、各フェーズを異なる種類のプロセッサに割り当てることで、この分割をさらに一歩進めることを提案しています。
データセンターのテストで何が判明するか
ハンドオフの効率は、チップの速度と同じくらい重要です。分割システムでは、回答を生成する部分は、プロンプトを読み取った部分によって作成された作業レコードにアクセスする必要があります。Nvidia のドキュメント 説明されているように、システムがそのレコードをどれだけ効率的に転送するかが、分割システムの性能に影響します。転送に時間がかかりすぎたり、ソフトウェアキューの動作が不均一だったりすると、別々のプロセッサを使用するメリットが縮小する可能性があります。
有用なテストとしては、ユーザーが回答の最初の部分を待つ時間、残りの部分が表示されるペース、そしてこれらの応答時間を維持しながらラックが処理できるリクエスト数を比較することが挙げられます。DistServe の研究で は、最初のトークンの遅延と後続のトークン間の時間を別々に測定しました。これは、それぞれがユーザー体験の異なる側面を捉えているためです。システムは短い質問にはうまく対応できますが、長いリクエストが多数同時に到着すると動作が異なる場合があります。ラック全体の電力測定は、1つのチップの節約効果が、データの転送や両方のプロセッサセットを稼働させ続けるという追加作業に耐えられるかどうかを示すのにも役立ちます。
韓国がこのプロジェクトを支援する理由
韓国の科学技術情報通信部は、今回の協力は国内のチップ開発企業が国際的に利用されているプラットフォーム上で自社のハードウェアを実証する機会になると考えていると、 聯合ニュースが報じた。同省は、他の韓国の開発者にも同様の機会を提供したいとしている。SKテレコムは、今回の取り組みを、自社が運用するコンピューティング能力と、国内で開発されたモデルやチップを組み合わせるという、より広範な取り組みと関連付けている。これには、将来的に公共部門や民間部門向けのサービスへの活用も含まれる。
この設計では、NVIDIAのGPU、接続部、ラック設計を維持しつつ、韓国製のプロセッサをシステムに組み込む予定だ。つまり、この取引は、国内のチップ設計者が既存のプラットフォーム内でどれだけの余地を確保できるかを試すものとなる。次に明らかになるのは、SKテレコムが計画されたシステムを安定して運用できるかどうか、そして、より低いコストまたはより少ない電力で同等のサービス品質を提供できるかどうかだ。今のところ、両社は作業分担の方針を発表したが、 共同発表 削減効果は示されていない。