DJI公開の「Osmo Pocket 4P」技術白書を読む

6月の発売以来、大きな話題となっているのが広角と中望遠の”二眼カメラ”を搭載したDJI「Osmo Pocket 4P」だ。一時は品切れが続いていたほどのヒットアイテムとなった。

Osmo Pocket 4Pには撮影をサポートするための様々な新技術が投入されている。ここでは8月25日にDJI JAPANが公開した映像技術のホワイトペーパー「DJIハンドヘルド映像機器の12年 技術進化の軌跡」をもとに、本機の重要な技術トピックである「トラッキング」「AF」「ジンバル」の3点について簡単にまとめた。

ホワイトペーパー表紙

初代Roninから12年。「ポケットシネマカメラ」の時代へ

その前に、DJIにおけるジンバルシステムの変遷を簡単に振り返っておきたい。同社初の3軸手持ちジンバルシステム「Ronin」は2014年に登場した。DJIがドローンで培った技術を応用したもので、それまでのメカニカルジンバルを置き換える形で普及していった。

2015年にはカメラ一体型ジンバルの「Osmo」がリリース。小型で高い制振性能からコンシューマー市場で受け入れられる存在になった。その後Osmoシリーズはより小型化され、2018年の「Osmo Pocket」を皮切りに代を重ねているのはご存じの通りだ。

2025年には「Osmo Pocket 3」の累計販売台数が1,000万台を突破。そして2026年、「Osmo Pocket 4」をデュアルカメラ化する形で最新作のOsmo Pocket 4Pが完成した。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

ジンバル制御やAFにも生かされるトラッキング技術

今日のカメラにおいて、ピントを合わせる対象を追い続けるトラッキング機能は極めて重要な技術要素となる。特に本機のような比較的小さなモニターのカメラでは確実なトラッキングが要求される。

そのためには、被写体が画面の「どこにいるか」だけでは不十分で、写っているものが「何」であるかまで認識する必要がある。最新のOsmo Pocketでは人体の姿勢や骨格、またペットの顔の生物的特徴も抽出。加えて、車両では構造の幾何学的特徴まで把握する。これらはピクセルレベルの解析を行い、被写体がどのように動くのかまで認識し、その後のジンバル制御やAFシステムと統合されている。

そして、こうした検出後の動作がトラッキングになる。単一被写体のトラッキングでは相関フィルターでリアルタイム性を向上させ、ディープラーニングで速度と精度のバランスを実現。さらにトランスフォーマーによる時系列の理解も加味し、トラッキング性能を高めているとする。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

2つのカメラで連動するAFシステム

AFにおいては、特にOsmo Pocket 4Pにおける2つのレンズを連携させたシステムが興味深い。2つのカメラのAFは同時に実行されており、広角カメラから中望遠カメラに切り替えた際に中望遠カメラはゼロからピント合わせをする必要がないため「シームレスなフォーカス切り替え」を達成できたとする。

さらに2つのカメラ間では被写体の空間座標やトラッキングIDといった重要なデータをリアルタイムで交換し合う。これによって、カメラの切り替えで同じ被写体をロックし続けることができるそうだ。

AFにもAI技術を活用している。「AI深度推定モデル」を使い深度マップを常時出力することで距離探索範囲が狭まり、手前と背景といったフォーカスを瞬時に切り替えられるという。また「AI位相ノイズ除去ネットワーク」を用いることで、2msという低遅延で低照度における顔へのフォーカスを実現。その照度は満月の明るさという0.1lxまで対応できるとしている。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

より安定するようになった手ブレ補正

Osmo Pocket 4Pの要とも言えるジンバルシステムも進化した。新世代という「高トルク密度ジンバルモーター」が採用され、トルク密度は前世代の「Osmo Pocket 3」比で17％アップ。全体のサイズ感を維持しながらデュアルカメラをスムーズに動作させられたとのこと。素早い動きや方向転換でも応答性の高いブレ補正が実現したとしている。

またジンバルのモーダル特性を最適化し、ジンバルシステムの剛性と安定性も高めた。これによりマイクへの振動伝達も低減できたそうだ。

電源OFF時のジンバルロック機構も新たに設けられたものだ。この軸ロックには形状記憶合金によって動作するオート軸ロックが採用されている。温度変化による動作となるため、機械的な伝達機構に比べて長寿命だとする。このロック機構により、従来必要だったハードケースの装着は不要となり使い勝手も高まった。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

ハイエンドシネマカメラ同等のダイナミックレンジ

Osmo Pocket 4Pの画質面では、新しいLogモード「D-Log 2」が加わったことも大きい。広角カメラのみの対応となるが、従来の「D-Log」を進化させたもので理論上のダイナミックレンジは19.4EV、実用で17EVを謳う。新採用のLOFICセンサーと組み合わせたことでARRIの「LogC4」と同等水準の性能となり、編集のマージンが広くなったという。

また、D-Log 2のカラースペースは従来よりも広い「D-Gamut 2」となり、4K超の映像での使用が想定されているRec.2020の色域を完全にカバーする。それにより極端に高彩度のシーンでも人間の知覚に近い色再現ができるとしている。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

マイクの改良やAIを活用した音声収録も

内蔵マイクの音声システムも大きく進化している。Osmo Pocketシリーズでは複数マイクのアレイ構成やスペクトル復元アルゴリズムによる風切り音の低減などをすでに実現しているが、Osmo Pocket 4Pでは新たにAIニューラルネットワークで音質を向上させた。

まず、より正確な風切り音の予測を可能にすることで、風切り音や周囲の雑音の抑制が可能になったという。加えてボーカル拡張機能を実装し、音声と環境音を識別して声の明瞭度が向上したという。

マイク自体も高音圧に対応させることで強信号時の歪みを最小限に抑えたほか、音声処理チップの刷新でSN比も向上させたとしている。

「DJIハンドヘルド映像機器の12年 技術進化の軌跡」より

ホワイトペーパーは27ページものボリュームで、Osmo Pocketシリーズの歴史や設計思想に始まり、映画やドキュメンタリー制作での事例まで触れられている。興味のある読者には一読をお勧めしたい。