Modalは10月19日(月)、社内テストで同等のIntelシステムと比較して高負荷時におけるタスク処理能力が最大2倍になることが示されたことを受け、NvidiaのVera中央処理装置を同社のAIサンドボックスサービスに導入する計画だと発表した。同社 の報告書は 、既存のx86インフラストラクチャを超えた拡張について述べており、システム全体の移行完了を謳うものではない。

この発見は、AIエージェントがコマンドを実行するコンピューティング環境に関するものであり、回答を生成するモデルに関するものではありません。Modalは、アイドル状態のマシン上でタスクを個別に実行した場合、その利点ははるかに小さいと報告しています。したがって、この結果は、同時実行ワークロードの処理に関する特定の主張を裏付けるものであり、すべてのAIアプリケーションが2倍の速度で実行されるという一般的な結論を支持するものではありません。.

AIエージェントがGPU以上のものを必要とする理由

AIエージェントは、命令の生成と実行を交互に行います。Nvidia アーキテクチャ分析、CPUの処理にはコードの実行、データベースへのクエリ、情報の取得、ツール結果の処理などが含まれると述べています。これらの処理は、モデルの意思決定におけるクリティカルパス上に位置する可能性があります。グラフィックスプロセッサの高速化だけでは、周辺ソフトウェアの遅延を解消することはできません。

実務上の課題は、ある顧客の活動が他の顧客の活動を遅くすることなく、サーバーを共有することです。Modalの リソースに関するドキュメント によると、同社のサンドボックスは最低限のコンピューティング能力を確保していますが、その確保量を超えて余剰リソースを使用することができます。課金は、要求された容量と実際の使用量のうち、高い方に基づいて行われます。この仕組みにより、余裕のある運用が可能になりますが、同時に、空いているサーバーでの速度だけでなく、同時需要時の予測可能な動作も重要になります。

ベンチマークが実際に測定するもの

Modalは テストコード、その手法を検証可能にした。このリポジトリには、Terminal-Bench 2.1から抽出した50のタスクが記述されており、言語モデルが処理内容を決定するのを待つのではなく、事前に定義されたソリューションを使用して実行される。ネットワーク依存の処理は除外され、測定前にコンテナが準備され、ウォームアップされる。タスクは、検証ステップに合格した時点で完了とみなされる。

この設計では、ホストコンピューティングのパフォーマンスを他のいくつかの遅延要因から分離しています。これは、シーケンシャルタスクのレイテンシと、固定間隔内で同時に完了した検証済み実行の数の両方を測定します。ただし、AI モデルが適切なコマンドをどれだけ確実に選択するか、リモート サービスが応答するまでにどれくらいの時間がかかるか、新しい環境を起動する際の完全なエクスペリエンスは測定しません。これらの省略は方法論上の制約であり、除外された遅延がなくなったという証拠ではありません。リポジトリには、同時実行タスクのレプリカ数を変化させながら利用可能な CPU 数を増やすテストも含まれています。これにより、スケーリング動作が公開された方法の一部となり、評価を単一の低負荷実行に限定する必要がなくなります。.

記憶と論争が結果を形作る

Nvidiaの 製品仕様、Veraは88個のカスタムOlympusコアと176個のハードウェアスレッド、そして最大1.2テラバイト/秒のメモリ帯域幅を兼ね備えています。Nvidiaは、高速コンピューティングのホストとしても、スタンドアロンプ​​ロセッサとしてもVeraを提供しています。これらはメーカーの仕様であり、顧客やソフトウェアによってパフォーマンスが均一に向上するとは限りません。

Nvidiaの技術解説では、多数のタスクがリソースを競合する状況下での持続的なパフォーマンス向上を強調している。同解説では、干渉を軽減するために2つのハードウェアスレッド間でリソースを分割する手法と、アクティブなコアにデータを供給し続けるように設計されたメモリサブシステムについて説明している。Modalは、負荷の高いサーバー環境における優れたパフォーマンスは、こうした競合への耐性によるものだとしている。この違いは重要だ。負荷の高いホスト上でより多くのジョブを完了させることと、個々のジョブの実行時間を半分に短縮することは、全く異なる成果だからだ。.

独立したテストにも限界がある。

以前の Phoronixのテストでは、 Veraの独自の直接評価が提供されていますが、Modalの実験を再現したものではありません。レビュアーのMichael Larabelは5月にNvidiaのオフィスで試作段階のハードウェアをテストし、選択されたワークロードで良好な結果を報告しました。彼の開示情報では、このレビューが本番システムや運用コストに関するすべての疑問を解決できない理由も説明されています。テストには、パッチが適用されたLinuxカーネルと特定のコンパイラ構成を備えたUbuntuが使用されました。Larabelは異なるLinuxディストリビューションでのインストールをテストしていません。これは、制御されたデモンストレーションの成功と、すべての顧客のソフトウェア環境の検証を区別するもう1つの理由です。

ララベル氏によると、Nvidiaはベンチマークの適用範囲を制限し、チューニング中はプロセッサの電力と周波数のモニタリングを使用しないよう求めたという。同氏は記事はスポンサーなしだと述べているが、テスト条件は依然として制約されていた。このレビューもModalのレポートも、すべての展開におけるタスクあたりのコスト優位性を独自に確立した一般的な情報を提供していない。この問題を評価するには、スループットの数値だけではなく、パフォーマンスと電力の測定、ハードウェアコスト、実際に処理されるワークロードを考慮する必要がある。.

展開計画であり、独占的な切り替えではない

Modalの最高経営責任者であるエリック・ベルンハルドソン氏は ロイター通信 、同社はIntelとAMDのプロセッサを混在させた構成を維持し、自社に最適なハードウェアに開発を委託すると述べた。また、比較対象は既に入手可能なチップであり、より新しい競合プロセッサはまだテストされていないとも述べた。この決定により、既存のサプライヤーが排除されたわけではないものの、Nvidiaは新たなCPU顧客を獲得することになる。

Modal社は、Arm互換プロセッサのサポートには、インフラストラクチャとイメージ構築システムの変更が必要だと述べている。同社は、Nvidiaやクラウドプロバイダーとの連携による拡張を目指していると発表しているが、一般提供開始日は明らかにしていない。当面の開発は、公開されたベンチマークに裏付けられた計画的なハードウェア拡張である。顧客が常に高速なサービスや低料金を受けられるかどうかは、導入後の別の課題となる。.