インタビュー
LUMIX GH4の「空間認識AF」は何が凄い?
2枚の画像から合焦方向を計算する“古くて新しい技術”
Reported by 杉本利彦（2014/5/30 08:00）
パナソニックが4月に発売したマイクロフォーサーズカメラ「LUMIX DMC-GH4」は、世界初となる4K動画撮影機能を備え話題となっているカメラだ。一方では、「空間認識技術」を新搭載し、従来よりも高速なAFを可能としている。今回はこの空間認識技術を使ったAFがどのようなものなのかを中心に伺った。（聞き手:杉本利彦、本文中敬称略）
4K動画で最大の課題は「熱」
――「LUMIX DMC-GH4」はユーザー間で非常に好評を博していますが、このカメラを企画した背景、コンセプトから教えてください。
香山：GHシリーズはパナソニックの一眼「LUMIX G」シリーズの中でも、ハイエンドの位置付けです。2009年の「DMC-GH1」以来、名称の中の“H”が意味します「High Definition」（高解像度）や「Hybrid」（融合）というキーワードのもとに、静止画性能と動画性能をいずれも高いレベルで融合させるということを目指してきました。
その後「DMC-GH2」を経て、「DMC-GH3」ではターゲットユーザーをプロ写真家やプロの映像制作の方々に向けて押し広げ、従来のコンセプトに加えてより本格的な撮影現場での使用に耐えるカメラを目標としました。おかげさまでGH3では、各方面から非常に高い評価を頂くと同時にいろいろなご意見も寄せられ、今回のGH4はそのようなお客様の声をフィードバックさせて頂いた正常進化モデルになります。
具体的にはGH4では、まずレスポンス性を大きく向上させています。例えば、AFの合焦速度は「空間認識技術」の導入により、従来にも増して高速化していますし、連続撮影速度は従来比で約2倍になりました。また、ミラーレス一眼カメラとしては世界初の4K動画撮影機能も実現しています。4K動画をそのまま静止画で切り出しますと、一般的な用途としては十分な約800万画素の静止画になりますので、動画撮影をしながら、高精細な静止画も得られるという、従来にない使い方もご提案できるようになりました。
――ミラーレスカメラでありながら一眼レフスタイルのデザインを採用している理由は?
香山：これはGH3も共通なのですが、このデザインを検討した際に、まずグリップがどうあるべきかを考えました。ファインダーを覗くことを前提にグリップの形状・配置を考え、手のサイズも考慮しますと、ホールドしやすいグリップの大きさ、形はだいたい決まってきます。
その上で、従来からカメラをお使いのお客様にも違和感のない操作感を実現するという課題を検討しますと、やはり現在のようなデザインがなじみやすく使いやすいだろうという結論に至りました。
もちろん、十分な堅牢性や防塵防滴機能を確保していますし、ミラーレス機であるメリットを生かして、同様の機能を持つ一眼レフカメラに比べれば比較的小型軽量にまとめることができていると考えています。
――なるほど、コンパクトさよりも道具としての使いやすさを優先しているということですね。ところで、今回のGH4では4K動画撮影機能が目玉になっていますが、御社のビデオカメラに先んじてデジタルカメラのGH4に初の4K動画機能を搭載したのはどうしてですか?
香山：ご存知の通り、弊社では業務用からファミリーユースに至るビデオカメラのラインナップに加え、「LUMIX」シリーズを含めて、幅広い商品ラインナップの中から、お客様の必要に応じて動画撮影用カメラをお選び頂けるようになっています。
その中でも動画のいわゆる「作品撮り」をされているハイアマチュアや業務用途のお客様からは、大型イメージセンサー採用でレンズ交換も可能なGHシリーズが非常に高い評価を頂いております。一方で、4K動画をお求めになるお客様層を考えますとGHシリーズのお客様層とほぼ重なりますので、そのようなお客様にいち早く4K動画をお届けする意味で、まずGH4に搭載しようということになりました。
それに加え、早くから4K動画を想定した開発体制をとっていましたので、イメージセンサーと画像処理エンジンの開発状況から比較的スムーズに開発が進んだといった経緯もありました。
――4K動画を導入する際に、課題となった技術的なハードルはありましたか?
香山：これは熱をどう抑えるかが最も大きな課題でした。ほとんどのLUMIXシリーズでは動画の撮影時間は記録媒体やバッテリーの容量いっぱいまで無制限に撮影可能な「無制限連続記録」が大きな特長になっているのですが、さすがに従来の4倍の画素数でしかも高速な処理が必要となると熱の発生は等比級数的に増大します。
GH3の開発段階から熱を逃がす工夫をしていたというものの、GH4では内部の放熱構造のチューニングが要素検討における最大の難題でした。それをなんとかクリアできたことで、4K動画においても「無制限連続記録」を達成することができたのです。
――外部の気温が上がるとオーバーヒートして止まってしまうことはありませんか?
香山：推奨使用温度は0～40度ですので、この範囲であれば無制限に連続撮影が可能です。
なぜ“光学ローパスフィルターレス”ではないのか?
――画像処理エンジンは4CPUとありますが、チップとしては4基別々にあるのですか?
澁野：ヴィーナスエンジンのチップは1個ですが、内部で4コアに分かれています。
――イメージセンサーからの画像データの1枚を4分割して並列処理するのですか?
澁野：画像処理エンジンではさまざまな処理を行っていますが、4つのCPUは並列ではなくそれぞれ別の処理を行っています。画像処理に関しても1枚の画像を4分割して並列処理するというのではなく、1枚の画像の処理について処理内容を各CPUで分担して処理することでより高速化しています。
――ダイナミックレンジ性能を25％拡大したとありますが、センサー自体のダイナミックレンジが25％上がったということでしょうか?
塘：GH4の新イメージセンサーは、センサー自身のスペック的なダイナミックレンジはGH3とほぼ同等なのですが、GH3ではダイナミックレンジに若干のマージンがあり、絵作りに利用していない領域がありました。
しかしGH4では、本体製造工程での調整により、センサーのダイナミックレンジをフルに活用できるようになりました。実際の撮影でも、約25％ほどダイナミックレンジが広がっていることを実感して頂けるかと思います。
――ハイライト部とシャドウ部がそれぞれ何段くらい拡張されているのでしょうか。
塘：ハイライト側が約1/3段ほど伸びています。
――「新マルチプロセスNR」とはなんですか? 従来処理との違いは?
塘：一口にノイズと言ってもいろいろな質感があると思います。たとえば、フィルムのような粒状感のあるノイズというのはそれほど嫌らしくは感じません。そこで、どちらかと言えば高周波で細かなノイズは残す方向でディテールは保ちつつ、低周波で粗目のノイズはできるだけ目立たなくするという処理を行っています。
香山：従来ですと画面の一様にかけてしまっていたノイズリダクション処理を、ノイズの周波数帯域に応じて、高周波側は残す方向、低周波側は重点的に処理しているということです。
――それなら被写体のディテール消失は最小限におさえられ、わざとらしくないノイズ処理ができますね。それと、「広帯域輪郭強調処理」（広帯域アパーチャーフィルター）とはどのような処理でしょうか?
塘：これも、太いエッジの部分に太い輪郭が付いてしまうと、いかにもデジタルっぽくなってあまり良い印象がありませんので、輪郭を細くして細かなディテール部分だけに効果的に輪郭強調が働くようにしています。端的には、限界解像度付近のコントラストを上げるフィルターということになります。
――他社ではローパスフィルターレス構造が広がっていますが、パナソニックでは導入しないのですか?
香山：ローパスレス構造による限界解像性能を見てみたいとする一部お客様のご要望は認識していますが、例えば動画撮影時の画像処理でカバーできないモアレの発生などを考慮しますと、総合的にみて現時点でこの機種にはローパスフィルターは必要ではないかとの判断をしています。将来的に一切導入は考えていないということではありません。
――「3次元色コントロール」とはどんな技術ですか?
塘：例えば、肌色と赤は色相としてはほぼ同じなのですが、彩度が異なりますので通常は別の色として認識しています。ところがより好ましい色再現を行うために肌色の色相を動かしますと、従来は赤の色相まで動いてしまうという問題がありました。
そこで、このような肌と赤の色合い、その他新緑の緑、抜けのよい青空の色など、被写体が持つグラデーションのニュアンスを忠実に再現するため、微妙な彩度、色相、彩度の違いを把握してコントロールできるようにした技術が「3次元色コントロール」です。GH4では、従来比で30％ほど色補正精度を向上させています。
2枚の画像とレンズデータを活用する空間認識AF
――今回最も話題になった新技術として「空間認識AF」がありますが、どのようなAF技術ですか?
河村：まず「空間認識AF」というのは「DFD」（Depth From Defocus）という技術に基づいているのですが、簡単に申しますとボケ像から被写体までの距離を導き出す技術で、1990年代の初め頃からすでに学会などでさかんに発表されていた技術になります。
その技術が現在になってカメラに搭載可能になったのは、CPUの処理能力の向上により複雑な計算が瞬時に処理可能になったことと、DFDの具体的な活用場面に即した実用面での技術的目処が立ったことが大きな理由です。
具体的には、コントラストAFは非常に高精度にピントを合わせられるのが特徴ですが、被写体が大きくボケていると、レンズを移動させる方向がわかりにくいという課題があります。それを補う技術として今回DFDの技術を応用しました。
DFDでは、ライブビュー画像からピントの異なる2枚（場合によっては2枚以上）の画像を取得して、あらかじめ取得してあるレンズの光学データを参照しながら分析することで、例えば下図のように合焦点から手前（青）、合焦点（緑）、合焦点の向こう側（赤）と画像内にある被写体を距離ごとに分けることができます。つまり、ボケの状態から各被写体までのおおよその距離とピントを合わせる方向がわかるということになります。
――コントラストAFとはどう違いますか?
澁野：先ほどもありましたが、コントラストAFでは大きくボケたときにピントを合わせる方向を瞬時には判断できませんが、DFDでは最初にピントの異なる2枚の画像を取得するだけで画面内のすべての被写体の距離情報からピントを移動させる方向と大まかな移動量が瞬時にわかるというのが大きな違いです。
2枚のボケ像から距離を算出する仕組み
「画像1」は木が被写体であるがピント位置が被写体より近い位置にあり、被写体が大きくボケた状態を示している。「画像2」はピント位置を遠方方向に少し動かし、被写体のボケが小さくなった状態を示している。
ここで、画像1と画像2のピントのズレ方はわかっているので、それぞれの距離で、画像1と画像2がどうボケるのかの組み合わせ（ボケモデルのペア）もわかる。そこで、画像1、画像2、ボケの組み合わせ情報から、マッチングを行い、最も確からしい距離（候補6）が検出できるという仕掛けである。
これを直感的に理解するため、別の見方で考えてみよう。ピントを移動させる方向がわかる理由は、画像1のボケのほうが画像2よりも大きいことがわかれば、図の遠側の候補5～8のどれかとなるし、画像2のボケのほうが画像1よりも大きければ、図の近側の候補1～4、というメカニズムになっている。
さらにその中から正しい距離を選び出すには、ボケ量そのものを特定する必要がある。ここで、ピントが合ったときに、写っているものがどんな模様になるのかがわからないと、正しい距離も求まらないため、模様と距離の2つを同時推定で計算し、最も確からしい距離を選び出す、いう流れである。（筆者）
――2枚の絵からとおっしゃいましたが、1枚の絵からでは判断できないのですか?
河村：1枚の絵だけでは判断できません。絵が2枚あるとボケ方の違いから、ボケ部分が手前にボケているか奥にボケているのか、またどれだけボケているのかもわかります。
――レンズの光学データとは、合焦点に理想的な点があった場合に、合焦点からの距離に応じてボケの大きさがどう変化するかというデータ持っているのですか?
河村：そうですね。イメージとしてはだいたいそういうことです。
――ということは、ピント位置の異なる2枚のボケ画像を取得すれば、ボケの大きさの変化からまずピントの移動方向がわかり、ボケの大きさからピント位置からの距離もわかるという理解でよろしいでしょうか?
河村：おおむねおっしゃる通りです。
――レンズは中央と周辺ではボケの形が異なると思いますが、画面位置ごとのボケデータも持っているのですか?
河村：詳細はお答えできませんが、最終的には高精度なコントラストAFでピントを微調整しますので、DFD技術はあくまでコントラストAFではわからない、ピントを動かす方向と大まかな移動量を検知することに特化させています。つまり、大きなボケの変化を捉えるのに必要な情報を持たせるようにしています。
――DFDだけでピント合わせはできないのですか?
澁野：方向判定性能と合焦精度はトレードオフの関係にありますので、GH4では主に初動時の方向判定にDFDを利用し、最終的な合焦はコントラストAFで行うアルゴリズムを採用しています。ただ、DFDの技術が進化して色々なハードルがクリアされれば、将来的にはDFDだけでピント合わせることも可能になるかもしれません。
――「常時、高速で空間認識」とありますが、プリAFをしているということですか?
澁野：プリAFのようにAFを常時動作させているというのではなく、被写体が動いたり状況が変わったとカメラが判断したときにDFDが動作して距離情報を取得しています。
――起動直後にAFした場合でも0.07秒でピントが合うのでしょうか?
澁野：起動直後にDFDで距離情報を取得しますのでAF時間は変わりません。
――ちなみにAF時間はどうやって測定していますか?
澁野：キットレンズの「LUMIX G VARIO 14-140mm F3.5-5.6 ASPH. POWER O.I.S.」の広角端で、CIPA基準に準拠したテスト方法で測定しています。
――ライブビュー時の絞り値はどうなっていますか?
澁野：開放が基本ですが、被写体が明るい場合などは少し絞り込む場合もあります。絞り開放時が最も被写界深度が浅いので、ピント合わせがしやすいのです。
――開放でコントラストAFした場合、絞り込んだ時に焦点移動が問題になることはありませんか?
澁野：そういった収差変動によるピント移動も自動補正できるようになっています。
――AFのための読み出しスピードは従来と同じ240fpsなのでしょうか?
澁野：はい。GH4も240fpsでAFのためのデータを取り込んでいます。
――AFにはフル画素で読み出した画像を利用しているのですか?
澁野：いいえ。フル画素ではなくAF用にシュリンクした画素数で処理しています。
――既に合焦している場合に、シャッターボタンを半押しした場合、ピントは動きますか?
澁野：はい。合焦しているかどうかに関わらず、一連のピント動作は必ず入るようになっています。合焦判定はできなくないのですが、ピント動作があったりなかったりということになりますと、撮影のリズム感が損なわれる場合もありますし、万一失敗写真になってしまう恐れもありますので、ピント動作は必ず入れるようにしています。
――AF追従連写がGH4では7コマ/秒ですが、メカシャッターの12コマ/秒、電子シャッターの40コマ/秒と比べてコマ速が落ちるのはどうしてですか?
澁野：12コマ/秒の撮影時はメカシャッターがフルに動作して連続して撮影していますので、AFのためにシャッターが開放される瞬間がありません。AF動作を行うためには、シャッターが開放される時間が必要になりますので、動体追従AF時はコマ速は7コマ/秒になります。
――AF追従は7コマ/秒までですが、追尾できる被写体のスピードの上限は?
澁野：キットレンズの望遠端である140mm（35mm判換算280mm相当）を使用した場合、およそ200km/hの列車でも画面いっぱいまで追従可能としています。従来のGH3と比較しますと、約3倍の被写体速度に追従できるAF性能を目標にして設計しました。自分でも実際にテストしてみましたが、通常の電車ならAF追従ができないという場面はありませんでした。
――それはすごい。もはやコントラストAF機とは思えないですね。
澁野：コントラストAF機としては、最高のAF追従性能であると自負しています。
――ちなみに動体追従AF時にも、DFDは働いているのですか。
澁野：働いています。コントラストAFでは追従できないような高速の被写体の場合に、DFDから得た距離情報を利用しています。
――フォーカスを優先した場合コマ速はさらに落ちますか?
澁野：GH4では、ピントがはずれてしまうような状況でもDFDでカバーできるようにしていますので、コマ速は落ちにくくなっています。
――1つの測距エリア内で被写体の距離に幅がある（奥行きがある）場合どこにピントを合わせるのですか?
澁野：被写体条件によっても異なりますが、測距点の中央付近でかつ最もカメラに近い被写体にピントが合うようなチューニングを行っています。
――他社製マイクロフォーサーズ用レンズの場合はDFDは機能しますか?
澁野：他社製レンズのDFD用のレンズデータは持てていないため、コントラストAFのみになります。DFDは、すべてのパナソニック製マイクロフォーサーズ用交換レンズで機能します。
像面位相差AFを採用しない理由
――像面位相差AFを使わずにDFDにこだわる理由は?
香山：位相差専用の画素を組み込みますと、多かれ少なかれ画素欠損した部分を補完処理しなければならず画質面への影響が避けられないと思います。特に4K動画の場合はフル画素を使用しますので影響が大きいのです。
澁野：4K動画では撮像エリア内の全ての画素が記録されますので、画素欠損は基本的に許されない部分があり、4K動画を入れるという時点で、像面位相差AFは採用しづらくなります。
河村：全画素を2分割する像面位相差方式の提案もありますが、この場合は画素欠損がなく画質面への影響がないといわれています。一方で、４K動画のような全画素読出しを想定した場合、単純計算すると読み出し画素数は4K画素数の2倍になりデータ量も2倍になってしまいますので、読み出しはもちろん画像処理の面でも厳しいものになる可能性があります。
澁野：従来のコントラストAFではピント精度の点で位相差AFに対して大きなアドバンテージがあるものの、初動時のピントの方向がわからない点や、AFの動体追従性能があまりよくない点がありました。しかし、今回のDFD技術の導入により、位相差AFとほぼ同等の動体追従AFが実現できました。
当然我々も像面位相差AFについては研究を行っておりますが、像面位相差AFでは動体追従AF性能に優れているというメリットがある反面、処理速度やピント精度、低照度性能などのデメリットもあり、最高画質の４K動画を提供するGH4では、DFD技術を用いてコントラストAFを進化させる方法を選択しました。
――なるほど、安易に目新しい技術に飛びつくのでなく、従来からの技術のノウハウを活かしながら新しい技術も取り入れた上での総合判断だったのですね。ところで、冒頭でユーザー間で非常に話題になっていると申しましたが、実際のセールスの結果はいかがでしたか?
香山：おかげさまで全世界的に4K動画をリーズナブルな価格でお届けすることができ、大変高い評価を頂いておりまして、予想を上回るセールスを記録していると聞いております。
現時点ではバックオーダーとさせて頂いておりますので、大変申し訳ありませんがご予約のお客様には、今しばらくお待ち頂けますようお願い申し上げます。
―インタビューを終えて―
GH4はレンズ交換式デジタルカメラとして、世界初の4K動画撮影を実現したが、一世代前のGH3の段階から4K動画を想定した開発が行われており、放熱処理が最大の課題であったという話は興味深かった。他社のカメラでは、フルHD動画撮影でさえ時間制限を設けていたり、発熱により撮影が止まってしまうカメラもあることを考えれば、早い段階から動画の熱対策に取り組み、世界に先駆けて4K動画を実現するだけでなく「無制限連続記録」まで達成してしまうパナソニックの技術ノウハウは相当蓄積が進んでいるのだろう。他メーカーが一朝一夕に追随できないのもうなずける。一方、GH4の4K動画は写真の撮影スタイルを変えるきっかけになる可能性も秘めている。すなわち、4K動画は1コマの画素数がおよそ800万画素あり、静止画の画質としても十分な800万画素で30コマ/秒の連続撮影を行っているのに等しい。つまり、4K動画の1コマを切り出せばそのまま静止画としても使えるという訳である。もちろん動画からの切り出し画像は、CMOSセンサー特有のローリング歪みなどの問題もあり、メカシャッターによる静止画と全く同じ画質が得られるとは限らないが、ネット配信や報道などの分野では従来以上に動画と静止画の画像の共用が進むだろう。
また、シャッターチャンスはその瞬間を個人技能で捉えるよりも、ある程度幅のある時間帯で捉えるという感覚に変わってゆく可能性もある。これは以前から4K/8K動画の時代になるとこうなると予想されていたことではあるが、いよいよ動画と静止画の共用が現実になって来ているのだ。
今回、技術面で聞いてみたかったのはやはり新採用された空間認識AF(DFD）の仕組みだった。説明によるとDFDの原理は、あらかじめピント位置からの距離ごとのレンズのボケデータを取得しておいて、ピント位置の異なる2枚の画像があれば、ボケの大きさの変化から画面内の全ての被写体の距離関係がわかるというものだが、この技術の利点は何と言っても位相差AF同様にレンズの初動の方向を瞬時に判断できる点にある。
インタビューでは時速200km/hで走行する列車でもAF追従可能としていたので、もはや動体追従AFは位相差AFだけの特権とはいえなくなったということになる。
この性能が事実であれば、多くのカメラメーカーが、ミラーレス時代の高速なAF方式として像面位相差AFに突き進む中、パナソニックは冷静に技術を見極め、コントラストAFという従来技術とDFDという古くて新しいAF方式を組み合わせることで、ここ数十年で最も高速なAF方式として君臨して来た位相差AFに匹敵するAF方式を実現して見せたのだから、これは賞賛に値すると思う。
機会があればファインダー位相差AF機、像面位相差AF機、GH4の3機種の動体追従AF性能を比較検証してみたい。（杉本利彦）
