OpenAIは今週、テキストによる指示から最長60秒の動画を生成できる生成型人工知能モデル「Sora」を発表した。これにより、同社のこれまでのテキストや静止画から、より長く、より詳細な動画へと研究領域が拡大する。このモデルは一般公開製品ではなく、研究プレビュー段階であり、OpenAIが機能とリスクを評価する間、アクセスできるのは一部のビジュアルアーティスト、映画制作者、デザイナー、安全試験担当者に限られる。.
OpenAIは木曜日に公開した技術レポートの中で、Soraを、長さ、解像度、アスペクト比の異なる動画と画像で共同学習させた拡散変換器だと説明している。同社によれば、最大規模のモデルは1分間の高精細動画を生成できるほか、静止画のアニメーション化、既存の動画の前後への延長、一部の動画編集作業も実行できるという。
言語トークンからビジュアルパッチまで
Soraのアーキテクチャは、大規模言語モデルから中心的なアイデアを取り入れています。それは、多様な情報を標準化された単位で表現し、大規模に処理できるようにするというものです。テキストトークンの代わりに、このモデルは圧縮された視覚データを「時空間パッチ」として表現します。OpenAIによると、これにより、単一のシステムが固定長のクリップや単一の解像度に限定されることなく、多次元の動画や画像から学習できるようになるとのことです。.
同社の Soraの概要 によると、このシステムは拡散処理とトランスフォーマーアーキテクチャを組み合わせたものだという。視覚的なノイズから始まり、そのノイズを段階的にビデオへと変換していく。同時に、被写体が一時的にカメラの視野から外れた場合でも被写体が捉え続けられるよう、複数のフレームを処理する。
OpenAIは、DALL·E 3向けに開発された字幕生成技術も活用しています。字幕生成モデルは、トレーニング動画のより詳細な説明を作成し、GPTは短いユーザープロンプトを生成前に詳細な指示へと展開することができます。その目的は、被写体、設定、カメラの動き、視覚スタイルなどに関するプロンプトに従うモデルの能力を向上させることです。.
1分世代が競争のハードルを上げる
Runway、Meta、Googleなどの企業が既にテキストから動画への変換システムを開発しているが、Soraの初期の例は、その長さと視覚的な一貫性の高さで際立っている。Wired 誌の2月15日の記事では、 このモデルは最大1分間のフォトリアリスティックな映像を生成できると紹介しつつ、現時点では少数のクリエイターとセキュリティ研究者にのみ公開されていることを強調している。
Engadgetの記事では、 雪景色からマンモスまで、さまざまな例が紹介されたほか、単に短いクリップをつなぎ合わせるのではなく、一連の映像全体を生成できるモデルの能力も強調された。これらのデモンストレーションは、生成ビデオにおける中心的な技術的問題の一つである時間的一貫性に関して、大きな進歩を示唆している。
その進歩を物理的な理解と混同してはならない。OpenAIの報告書によれば、Soraは基本的な因果関係、物体の永続性、現実世界の物理法則を理解できないことがある。生成された人物が予想通りの跡を残さずに食べ物を噛んだり、物体が突如出現したり、複雑な相互作用が支離滅裂になったりすることがある。このシステムは、描写対象の仕組みを誤解しながらも、視覚的に説得力のあるシーンを作り出すことができるのだ。.
この製品は意図的にまだ公開されていません
OpenAIは、ChatGPTの時よりも慎重なローンチ戦略をとっている。AP 通信の報道 によると、Soraはまだ一般公開されておらず、同社は基盤となる学習データセットに関する情報を限定的にしか公開していない。一般に公開されているのは一部のサンプルのみで、誰でも自由にテストできるサービスではない。
同社は、誤情報、憎悪コンテンツ、偏見に関する専門知識を持つレッドチームのメンバーに加え、創造的な応用例と失敗例の両方を特定できるフィードバックを提供するアーティストや映画制作者へのアクセスも提供していると述べている。OpenAIは、Soraで生成されたビデオを認識することを目的とした検出分類器を開発しており、モデルが製品に導入される場合は、C2PAメタデータなどの来歴標準を使用する可能性があるとしている。.
リアルな合成動画が登場するこの時期は、世界中で主要な選挙が行われる年であるため、非常にデリケートな問題です。リスクは捏造された政治演説だけにとどまりません。生成された映像は、なりすまし、詐欺、嫌がらせ、証拠の捏造、あるいは実際の出来事の誤解を招くような描写に悪用される可能性があります。 ガーディアン紙の発表記事 によると、OpenAIは広く公開する前に、これらのリスクを検証しようとしているとのことです。
トレーニングデータと著作権は未解決の問題として残っている。
Soraは、生成モデルの学習に使用される素材をめぐる、未解決の法的論争にも巻き込まれている。OpenAIは、Soraに使用された動画や画像の詳細なリストを公開していない。最新の報道によると、同社はコーパスについて、公開されている素材やライセンスを受けた素材を含むと大まかに説明しているという。.
これは、映画制作者、写真家、出版社、その他の権利保有者からの厳しい監視を招く可能性が高い。生成AI企業は既に、著作権で保護された素材を許可なく学習に使用できるかどうか、またモデルの出力が保護された表現を再現できるかどうかをめぐって訴訟に直面している。動画は、学習素材に撮影、演技、キャラクター、音楽、その他の権利が含まれる可能性があるため、さらに複雑な問題となる。.
しかしながら、このモデルの創造的な可能性は非常に大きい。映画制作者は撮影前にシーンのプロトタイプを作成したり、広告主はコンセプト映像を生成したり、ゲームスタジオは環境をテストしたり、教育者は撮影が難しい状況を視覚化したりすることができる。Soraは画像や既存の動画を入力として受け入れることもできるため、単なるテキストから動画への変換にとどまらない用途が期待できる。.
動画以外にも影響を及ぼす研究プレビュー
OpenAIはSoraを単なるメディアツール以上のものとして位置づけている。同社の研究者たちは、生成型ビデオの規模拡大が、物理世界の有用な表現を学習するモデルへの道筋となる可能性があると主張している。 研究論文で は、一貫したカメラの動きや、ある種の物体との相互作用といった新たな挙動が見られることを指摘しつつ、これらの機能はまだ不完全であることを慎重に認めている。
その主張を裏付けるには、相当な独立検証が必要となるだろう。もっともらしいピクセルを生成することと、物理法則、因果関係、あるいは人間の意図を理解することは別物であり、Soraの視覚的に説得力のあるエラーは、ユーザーがこれらの違いを認識しにくくする可能性がある。基となるシミュレーションが間違っていても、モデルは知識があるように見えることがあるのだ。.
現時点では、Soraの意義は、短く不安定なAIクリップと、より長い映画のような映像シーケンスとの間のギャップを埋める可能性にあるようだ。OpenAIは、言語から1分間の動画を生成できるシステムを実証しており、その影響を検証する間は、広く一般に公開することを控えている。Soraが広く利用されるクリエイティブプラットフォームになるかどうかは、映像の質だけでなく、コスト、速度、著作権規則、出所、そしてますます説得力のある合成メディアに安全システムが対応できるかどうかにも左右されるだろう。.