Metaは木曜日、Llama 3ファミリーの最初のモデルをリリースした。15兆トークン以上で学習させた80億パラメータ版と700億パラメータ版を発表し、テクノロジー業界で最も急速に進化している競争の一つ、つまり、ますます高性能化する生成型人工知能を開発者や消費者に広く提供するための競争に、即座に参入した。Metaの 技術発表 によると、最初の2つのモデルは事前学習済みと指示調整済みの形式で利用可能だが、4000億パラメータを超えるはるかに大規模なモデルは現在学習中である。
今回のリリースは、Metaが2つの配信経路を同時に追求しているため、重要な意味を持つ。Metaは、Llama 3を同社のコミュニティライセンスの下で開発者に提供すると同時に、Facebook、Instagram、WhatsApp、Messenger、そしてスタンドアロンのウェブ体験において、より高性能なMeta AIアシスタントの基盤として活用している。Metaが 4月18日に発表したリリース情報 によると、このアシスタントは米国以外にも10カ国以上に展開され、数十億人の既存ユーザーを抱える消費者向け製品にLlama 3が導入される予定だという。
モデルサイズは2種類、トレーニングセットは1つがはるかに大きい。
Llama 3の初期リリースは、8Bモデルと70Bモデルで構成され、それぞれ基本バージョンと指示チューニングバージョンが用意されています。公式の 8Bモデルカードに は、公開されているオンラインデータの新しい組み合わせでトレーニングされた自己回帰型トランスフォーマーが記載されており、コンテキスト長は8,000トークン、事前トレーニングトークン数は15兆個を超えています。70B 指示モデルは 、同じ大まかなアーキテクチャを使用し、チューニングバージョンには教師ありファインチューニングと人間のフィードバックに基づく強化学習が適用されます。
Meta社によると、事前学習コーパスはLlama 2で使用されたものより7倍以上大きく、コード量も4倍多いとのことです。同社はまた、言語をより効率的にエンコードすることを目的とした12万8000トークンの語彙を持つトークナイザーを導入し、24000個のGPUを搭載した2つのカスタム構築クラスターでモデルをトレーニングしました。モデルの品質はパラメータ数だけでなく、トレーニングデータの量と構成、トークン化、トレーニング後の手法、大規模な実験を実行するために利用できるインフラストラクチャにも依存するため、これらのエンジニアリング上の選択は重要です。.
独立系販売パートナーは迅速に対応した。Hugging Faceの同時 発売時の発表 によると、4つの主要バリエーション(基本モデル2種類と指導調整モデル2種類)すべてが、Llama Guard 2とともに発売日にモデルハブを通じて入手可能になった。Amazon Web Servicesも同様に、4月18日にSageMaker JumpStartを通じてLlama 3の提供を開始し、 AWSの発表 米国、欧州、アジア地域での初期提供開始が発表された。
MetaはAIアシスタントを配信エンジンに変える
消費者戦略は、モデルリリースそのものと同じくらい重要かもしれません。Meta AIは、同社の主要アプリケーション全体で、検索ボックス、チャット、フィードに直接組み込まれています。ユーザーは、WhatsAppやMessengerから離れることなくアシスタントを起動したり、FacebookやInstagramを閲覧しながら質問したり、MetaのImagine機能を使って画像を生成したりできます。同社はまた、Meta AIのウェブサイトも開設し、他のAI企業のスタンドアロン型アシスタントにより近い直接的なインターフェースを提供します。.
この配信方法により、Metaは他に類を見ない優位性を得ています。つまり、ユーザーに新しいアプリケーションをインストールしてもらうよう説得する必要がなく、モデルをユーザーに紹介できるのです。その代わりに、Llama 3はユーザーが既に利用しているサービスの中に組み込むことができます。Metaによると、このアシスタントはウェブからリアルタイムの情報を提供し、当初はオーストラリア、カナダ、ガーナ、ジャマイカ、マラウイ、ニュージーランド、ナイジェリア、パキスタン、シンガポール、南アフリカ、ウガンダ、ザンビア、ジンバブエを含む市場で英語で利用可能になる予定です。.
このアプローチは、Metaの開発者戦略と消費者戦略の間でフィードバックループを生み出す。開発者は基盤となるモデルを自社のアプリケーションに合わせてカスタマイズできる一方、Metaは同じモデルファミリーを大規模な消費者向けに運用できる。これは、アクセスが主にベンダー自身のアプリケーションやAPIに限定される、純粋な独自モデル戦略とは対照的である。.
安全ツールがリリースパッケージの一部となる
Metaは、新しいモデルに加えて、追加のセキュリティツールも提供しています。 責任あるリリースに関する説明 は、リリース前に講じられた措置の詳細と、安全でない使用を減らすための開発者向けリソースが強調されています。Llama 3のテクニカルリリースでは、Llama Guard 2、Code Shield、CyberSec Eval 2が導入されました。これらはそれぞれ、安全でないコンテンツの分類、安全でないコードの特定、サイバーセキュリティリスクの評価を目的としたツールです。
同社のモデルカードには、開発者が考慮しなければならない制限事項も記載されている。4月にリリースされたモデルは主に英語テキスト向けに設計されており、モデルの知識更新期限は固定されている。8Bバージョンは2023年3月、70Bバージョンは2023年12月となっている。他の大規模言語モデルと同様に、これらのモデルも誤った、あるいは誤解を招くような出力を生成する可能性があり、下流の開発者は、モデルをデプロイする特定の環境における動作テストに責任を負うことになる。.
ライセンスモデルは広範ではあるものの、無制限ではない。Meta社のLlama 3コミュニティライセンスは、特定の条件下での商用利用および研究利用を許可する一方で、非常に大規模なプラットフォームには追加の要件を課し、同社の許容利用ポリシーに違反する利用を禁止している。この構造は、Llamaをパブリックドメインにすることなく、広く利用可能なプラットフォームとして位置づけようとするMeta社の取り組みを継続するものである。.
競争上の課題は、アクセスからパフォーマンスへと移行する。
Meta社がまず主張するのは、指示に合わせて調整されたバージョンは、推論、コーディング、指示追従に関する一般的なベンチマークにおいて、主要な公開モデルと遜色ない性能を発揮するという点である。ベンチマーク結果は有用ではあるが、実際のシステム性能を示す指標としては不完全である。なぜなら、実際のシステムは、モデルスコアだけでなく、検索、プロンプト、微調整、レイテンシ、コスト、安全性の制御といった要素にも依存するからである。.
とはいえ、モデルの入手可能性と配信方法の組み合わせは、競争環境を大きく変えます。開発者は、単一のホスト型APIに依存するのではなく、複数のインフラストラクチャプロバイダーを通じてLlama 3をダウンロードまたはデプロイできます。AWSのSageMakerの即日サポートとHugging Faceのローンチ統合により、モデルのテストに必要な運用作業が軽減されます。Metaは、Microsoft Azure、Google Cloud、Databricks、IBM watsonx、NVIDIA NIM、Snowflakeなどのパートナーを通じて、さらに利用可能になる予定だと述べています。.
より大きな問題は、8Bと70Bのリリースに続く展開です。Metaは、4000億パラメータを超えるモデルがまだトレーニング中であり、最初のLlama 3リリースはファミリーの始まりに過ぎないと述べています。土曜日の時点で、測定可能な開発はすでに相当なものです。Metaは2つの新しいモデルサイズをリリースし、幅広い開発者エコシステムに公開すると同時に、コンシューマープラットフォーム全体に組み込まれたAIアシスタントの背後にLlama 3を配置しました。次の段階では、オープンな配布、大規模な展開、迅速なモデル反復の組み合わせが、生成AIにおける永続的な優位性につながるかどうかを検証します。.