ニュース
Adobe Premiere Proで生成AIを活用した動画制作が可能に…Inter BEE 2024でAdobeが解説
2024年11月14日 12:14
アドビは11月13日（水）、幕張メッセで開幕したInter BEE 2024の会場で、Adobe Premiere Proに搭載される生成AIや生成拡張機能を説明した。Premiere Pro上で2秒の動画を生成して映像に組み込んだり、映像を生成AIで変更したり、不自然なカットを補うことができるようになるとしている。
現時点ではプライベートベータとして登録者限定の提供で、オープンベータ化の時期は明らかになっていない。
Premiere Proで使える生成AI動画
Adobeは、従来からAI機能を提供してきた。これまでは「Adobe Sensei」をベースにしたAI機能で、例えば音声をテキストに変換するキャプション機能や文字起こしベースの編集、After Effectsのロトブラシ2などがある。こうしたAdobe Senseiベースのツールは、ユーザーの時間を節約するのに有用だった。
これらは「ストーリーテリングを妨げる、反復的な作業を減らしたいという要望から生まれたもの」だと、米Adobeのプロビデオ シニアプロダクトマーケティングマネージャーのカイリー・ペニャ氏は説明する。
そのため、こうしたツールは「アシストAI機能」と呼ばれており、ユーザーのアシスタントの役割を担う機能と位置づけられている。
ところがこの1～2年は、AIの世界に全く新しいブームが到来した。「言葉から新しいアートを生み出せるようになり、コンテンツ開発がみんなのものになった」とペニャ氏。これが生成AIで、AdobeではAdobe Fireflyを提供。テキストのプロンプトを元にコンテンツが作成できるようになった。
どちらのAIも、「より生産的なことに時間を使いたい」というニーズから利用されており、Adobeが多くの努力を注いでいる理由だとしている。
「ここ数カ月にわたり、ビデオ編集コミュニティと緊密に協力してAdobe Firefly Video Modelの開発をしてきた」とペニャ氏。現在、コミュニティのフィードバックを受けながらワークフローを開発しているという。ペニャ氏はFirefly Video Modelによって、ユーザーの創造性を形にして、編集画面のタイムラインにある空白を埋めて、既存の映像に新しい要素を追加できるように支援する、と説明した。
Firefly Video Modelは生成AIであり、テキストのプロンプトでコンテンツを生成できる。テキストで魅力的なビデオクリップを生成し、映像のアイデア提案やBロール、ビジュアルエフェクトの作成など、様々な用途に対応できるという。1枚の写真から動画を生成することもできる。
Fireflyとして、「商業利用に安全な設計となっている」とペニャ氏。許可を得たコンテンツのみで学習されており、Adobeユーザーのコンテンツは「一切使用していない」（ペニャ氏）。
Adobe Firefly Video Modelはプライベートベータ版として提供中。ウェイティングリストに登録すると、順次招待され、機能を試すことができるようになる。
同モデルで生成できるのは、1つのクリップに対して動画で2秒、音声で10秒のコンテンツ。これはコミュニティからのフィードバックに基づくもので、おおむねこのぐらいで十分という判断だという。技術的な問題ではないため、フィードバックがあればより長時間の生成ができる可能性もあるそうだ。
「生成拡張機能」は、タイムラインのコンテンツを拡張するというもの。デモでは、インタビュー映像の最後に無言になったところでロゴを入れようとしたが、映像は話し続けているものしかない、という映像に、その人の無言の映像を生成する、というものだった。
ほかにも映像内の登場人物の「頷くしぐさをなくす」「目が動いていたのを止める」「インサート映像として風景映像をAdobe Firefly Video Modelで生成してタイムラインに挿入する」「スイッチを上げるしぐさを、ケーブルを抜くしぐさに変える」「風景に吹雪を重ねる」といった編集を生成AIで加えていた。
さらに同社のPremiere Proプリンシパルプロダクトマネージャーのフランシス・クロスマン氏は、最新のAdobe Premiere Pro 25に関して紹介。新機能としてプロパティパネルの追加、一部カメラのネイティブフォーマットの対応、パフォーマンスの向上などを実現した。
パブリックベータ版ではカラーマネジメント機能を追加。LogやRAWビデオの色空間から、シーケンスの色空間に自動的に変換できるようになり、LUTを使用せずに済むため、編集のプロセスが大幅に簡略化される、とクロスマン氏は説明。
コンテンツ認証機能も追加され、制作者やAIの利用などをメタデータとして映像に埋め込み、検証できるようになる。写真でも少しずつ対応環境が広がっているが、映像でもフェイク動画などの対策として導入する。
将来的に搭載する機能として、Adobe MAXでも披露された「オブジェクト選択」機能も紹介された。「マスキングとトラッキングが全く新しいレベルに引き上げられる」とクロスマン氏。
オブジェクト選択ツールを使うと、映像内のオブジェクトが自動的に選択できるようになる。デモでは宇宙飛行士の姿だが、細かい部分まで正確に検出して選択できていた。ポイントはAIを使って映像の動きをトラッキングするところ。
オブジェクトを追尾してくれるので、動きが変わっても選択範囲が追従し、そのままオブジェクトの補正や切り出し、コピーなどもできる。
そのまま選択範囲のカラーや露出を変更したり、宇宙飛行士だけ切り出したり、といったこともできる。
クロスマン氏は、「来年にはパブリックベータで提供する」と話した。
Adobe Firefly Video Modelは720p、生成拡張は1080pまでの対応で、16：9、最大30fps、8bit SDR限定といった制限もあり、まだまだ開発中だが、今後4Kに対応することを目指しているという。
なお、映像はAdobe Stockのデータをトレーニングに使っており、特に動物や風景では良好な動画の生成が可能だという。生成AIらしく指は苦手で、ポルノや暴力的な映像は生成できない、とのことだ。