Googleは月曜日、AIコンピューティングシステム2種類を発表した。これは、自社開発の第8世代プロセッサを拡張したもので、1つは処理中に機密情報を保護する設計、もう1つはメモリを介してより多くのデータを転送できる設計となっている。TPU 8txとTPU 8i Maxは、Googleが4月に発表したプロセッサ設計を再利用している。Google Cloudによると、これらのシステムは、チップのパッケージング、接続、保護方法が、それぞれの用途に応じて変更されている。

11月9日の発表により、Googleがテンソル処理ユニット(TPU)をどのような分野で競争させようとしているのかが、顧客にとってより明確になった。両システムとも推論、つまりモデルが学習後に回答を生成したりタスクを実行したりする作業を重視している。 ロイター 通信によると、これらのシステムは、Googleが長年自社サービスで使用してきたハードウェアを超えて、クラウド顧客に提供できる選択肢を拡大するものだ。Googleの発表では、両システムの価格や具体的なリリース日は明らかにされなかった。

AIタスク中のデータ保護

8txは、機密情報を扱う企業や政府機関が抱える問題を解決するものです。ストレージ内やネットワーク上でファイルを暗号化しても、プロセッサが処理している間は内容が保護されません。Googleによると、8txはこの段階でハードウェアによる保護機能を追加するとのことです。8txは、TPU 8tチップ設計と AMD、データの準備やアクセラレータの連携といったタスクを処理します。

AMDによると、このシステムは、保護されたメモリへのアクセスを許可する前に、アクセラレータのIDとセキュリティ構成をチェックするとのことです。同社によれば、この仕組みは、ホストメモリ内および転送中の暗号化によってプロンプト、モデルの重み、中間データを保護し、アクセラレータがワークロードを実行している間はハードウェアによる分離が行われるとのことです。Network Worldは 、Googleが独自のデータまたは規制対象データでモデルを実行したい組織をターゲットにしていると報じました。顧客は、アプリケーションのどの部分が保護されているか、また保護が自社のセキュリティ要件を満たしているかどうかを評価する必要があります。

8txは、TPU 8iのチップ間で情報を転送するためにGoogleが使用しているネットワークも利用しています。Googleに よると、 この変更により、8tと比較してレイテンシを最大で半分に短縮できるとのことです。これは、Googleの別のシステムとのベンダー比較であり、顧客独自のモデルやデータ上でアプリケーションがどれだけ高速に動作するかを示すものではありません。

メモリを通してより多くの情報を移動させる

8i Maxは、プロセッサに十分なデータを迅速に供給するという、別の課題に取り組んでいます。大量のファイルを扱うコーディングアシスタントや、数時間分のビデオを分析するシステムは、単純なチャットボットよりもはるかに多くのデータを保持する必要があります。複数のタスクが同時に実行されると、それらのデータは、データを保存するために必要なメモリと、データを配信するために必要な帯域幅をめぐって競合します。Google は、 システムの演算能力を高め、データ転送のための余裕を増やすために、2つのTPU 8iチップを1つのパッケージに組み込みました

Googleが 4月に発表した仕様では 、初代TPU 8iは288ギガバイトの高帯域幅メモリと、毎秒約8.6テラバイトのメモリ帯域幅を備えていました。TechTarget は 、8i Maxがそのメモリを通して毎秒最大17.2テラバイトのデータを転送できると報じており、これは以前の数値の約2倍です。Network Worldは 、高帯域幅メモリが384ギガバイトで、約3分の1増加したと報じています。つまり、より大型のシステムは理論上は2倍の速度でデータを転送できますが、保持できるデータ量の増加率はそれほど大きくありません。これらの数値だけでは、モデルの応答速度がどれだけ速くなるかはわかりません。

ソフトウェアも結果を左右する

Googleは、チップメモリ​​、サーバーメモリ、共有ストレージ間で作業データを管理するためのツール「TPU Sync」をリリースしました。例えば、モデルが会話やタスクの以前の部分を記録し、同じ計算を繰り返さずに参照できるようにする機能などが挙げられます。Network Worldの 報道によると、このソフトウェアはAIシステムが一時停止したときにチップから作業データを移動し、タスクが再開されたときに復元することで、その間にチップメモリ​​を他の作業に利用できるようにしているとのことです。

このソフトウェアは、顧客はシステム全体を評価すべきだというGoogleのより広範な主張の一部です。プロセッサは、メモリ、別のチップ、またはアプリケーションが次の命令を提供するのを待つために時間を費やす可能性があります。個々のチップの速度は、顧客に全体像の一部しか示しません。時間のかかるタスクの場合、各システムがどれだけの作業を完了するか、使用可能な結果を​​どれだけ早く返すか、そして同じワークロードを実行するのにどれだけのコストがかかるかを測定することが、有益な比較になります。.

顧客がまだ知っておくべきこと

今回の発表により、大規模モデルのトレーニングを目的としたシステムと高速推論を目的としたシステムという、既にラ​​インナップに含まれる2つのオプションが新たに加わった。 ロイター通信が 報じたように、これによりGoogle Cloudは、これまでグラフィックプロセッサを中心としたシステムを選択する可能性があった企業に対して、新たな競争力を獲得できることになる。この2つの新システムはそれぞれ異なるニーズに対応しているため、モデル名だけではどちらがより適しているかを判断することはできない。

TechTargetの 報道によると、Googleはどちらのシステムについても具体的な発売日や価格を明らかにしていない。こうした情報や実際のワークロードでの比較テストがないため、購入者はメモリ帯域幅の増加によるコストや、ハードウェア分離が実行したいモデルに与える影響をまだ判断できない。月曜日の発表では、Googleがこれらのシステムをどのような目的で設計したかが説明されているが、次の課題は顧客が実際にそれらを使って何ができるかということだ。