パナソニック「超解像技術」の秘密に迫る

~単なるシャープネス処理ではないインテリジェントなアルゴリズムを採用

 パナソニックが、コンパクトデジタルカメラの2010年春モデルに搭載した機能に「超解像技術」がある。撮影した写真に独自の画像処理を施すことで、ディテール表現や立体感を図る技術だ。デジタルカメラでは初めての搭載となる超解像技術について、パナソニックに話を伺った。(聞き手:小倉雄一)

 インタビューに答えていただいたのは、パナソニックAVCネットワークス社 DSCビジネスユニット 先行開発グループ 先行システム開発チーム リームリーダーの山本靖利氏、同ネットワーク事業グループ DSCビジネスユニット 商品開発グループの阿武栄二氏、同ネットワーク事業グループ DSCビジネスユニット 企画グループ グループマネージャーの友澤泉氏。

左から阿武栄二氏、山本靖利氏、友澤泉氏インタビューを行なったパナソニックAVCネットワークス社1号館(大阪府門真市)

 山本氏がヴィーナスエンジンおよび超解像技術の要素開発を、阿武氏がLUMIXの画質設計全般を、友澤氏が商品企画をそれぞれ担当した。

そもそも超解像技術とは何か?

――そもそも超解像技術とは、どういった概念なのでしょうか。

山本:入力画像を分析して解像度を向上させようとするとき、元の絵はどうだったのだろうと想像しながら、さまざまなアルゴリズムを駆使して画像を分析し、いろいろな条件に当てはめて元の絵に近づけていこうとする画像処理を超解像技術と呼んでいます。

――他社でも超解像という言葉を使っていますが。

山本:デジタルカメラではありませんが、他社でも超解像技術を実用化している製品がありますね。超解像を謳う製品は、2~3年前から多くの企業がCEATECなどの展示会で出展しています。我々も6年以上前から本社研究所で超解像技術の検討を始め、それをデジタルカメラに使おうと3年ほど研究を続けてきました。2009年に今年の新製品に向けて開発したLSIに盛り込み、ようやく商品化にこぎつけたわけです。

――超解像技術の研究を始めたきっかけは、なにかあるのでしょうか。

山本:本社研究所に確認したところ、やはり画像処理に関する学会での発表がきっかけになったのだといいます。

阿武:解像というのは画質を構成する重要な要素のひとつです。その解像を向上させる手段としては、まずレンズの性能をよくする、画素数を上げていく、後段の信号処理で加工して解像をアップする、という3つの取り組みが考えられます。それぞれを進めるなかで、本社研究所では信号処理による解像向上技術に関して比較的早い時期から取り組んでいたのです。当時の学会では、信号処理によって解像を向上させようという潮流があったのだと思います。

山本:本社研究所は最先端の技術を追求していくことが使命ですので。

友澤:本社研究所の取り組みなので、デジタルカメラに限定された技術ではなく、幅広い商品のために開発を進めています。AV機器にとって画質の向上は永遠の課題ですし、非常に普遍的なテーマです。その技術をデジタルカメラに応用すれば、基本画質の向上に加えて、デジタルズーム時の画質向上など、さまざまなメリットが出てくると考えたわけです。

山本:弊社のデジタルカメラ製品において、画素数の大きいフル画素のモードと画素の少ないモードがあることは本社研究所でも把握していましたので、画像の少ないモードで解像感を補うために超解像技術が使えるのではないかと提案を受け、デジタルカメラの開発部門で具体的な製品への導入を進めてきたのです。

超解像技術を搭載したパナソニックコンパクトデジタルカメラの2010年春モデル。LUMIX DMC-TZ10(左上)、同DMC-ZX3(右上)、同DMC-FT2(左下)、同DMC-FX66(右下)

従来のエッジ強調の欠点を克服

――解像感を向上させる従来技術の欠点とは何でしょうか?

山本:従来、デジタル画像で解像感を出そうとした場合、エッジ強調という技術が使われます。ただ、やり過ぎてしまうと部分によっては本当はないはずの白いエッジがついてしまうことがあります。その偽のエッジをリンギングというのですが、リンギングを抑えながら解像感を改善できる方式がないかと考えていたところに超解像技術がスポッとハマった感じです。

――これまで解像感を向上させる方法としては、エッジ強調が主なものだったのですか。

阿武:画像処理ソフトでいうところのシャープネスですね。それ相当のものを従来からほとんどのメーカーが使っているのですが、やりすぎると周辺に変な白っぽい縁取り、偽エッジが出たりします。

――それはわざと出しているわけではないのですね。

阿武:エッジ強調の副作用として出てきてしまうのです。

――なるほど。では、超解像の技術的な概略を教えていただけますか。

山本:まずは元の画像に対して「特徴抽出」をします。画面の中の輪郭の部分(エッジ)、明暗差の激しい部分や模様の部分(ディティール)、データの変化が比較的少ない平坦な部分(グラデーション)、主にこの3つですが、画像の部分ごとにどういった情報を持っているかを分析します。それに対してエッジ強調した信号を用意して、その部分の特徴に応じて適応的に最適なフィルター処理をかけていきます。

――画面の特徴を大きく3つに分けるのですね。

山本:例えば具体的な絵でいうと、1本の大きな木を写すとします。木の葉が生い茂っているところ。木と空の間のところ(境界線がはっきりしているエッジの部分)、青い空はおおむね平坦です。このように画面の領域ごとに、エッジ、グラデーション、ディティールといった特徴を判断して、それぞれに対して最適な処理をします。エッジのところはある程度しっかりエッジ強調をしますが、偽エッジを出さないように注意します。細かい模様の部分は、それなりにパリッと見えるような処理をします。平坦なところはエッジ強調するとノイズも強調されてしまいますので、なにもしない。以上のように画像を分析しながらインテリジェントに処理を切り換え、ある程度混ぜ合わせながら処理を行ないます。

超解像技術の仕組み。輪郭部、ディテール部、グラデーション部の3つに分けて画像処理を施(LUMIX DMC-G2の発表会資料より)

――そのような処理というのは画期的なことなのでしょうか。今までは無かったことなのですか。

山本:従来は、画面全体に対して均一に同じような処理をしていました。画質調整をしながら処理していたのですが、明確に画像を部分ごとに分析するアルゴリズムが入ったのは今回が初めてですね。

友澤:これまでの画質補正では、画面全体にシャープネスが一律にかけられていたのですが、今回の超解像の特徴は、まずキチッとパーツパーツで画像の性質を認識したうえで、それらに合った最適な補正を個々に掛けていくという合わせ技です。従来やってきた画像補正とは一線を画したものになっています。

――画面を分析して3つの特徴に分類するという作業はそれほど難しくはないのでしょうか。

山本:けっして簡単ではありませんが、画像の部分ごとの特徴を分析しながら処理をすることで、今回新しく開発した最新の画像処理エンジンに初めて盛り込むことができました。

――エッジ、ディティール、グラデーションの大きな分類をして、そのなかでも微妙に処理量の差はつけたりするんでしょうか。

山本:そうですね。単純に3つに分けてしまうと、その中間が問題になります。超解像の処理はデジタル的に0と1で切ってるわけではなく、重み付けみたいなカタチで特徴量を抽出しながら、それぞれ補正の仕方も部分ごとに変えています。

超解像を適用したDMC-FX66によるサンプル(パナソニック提供、効果を説明するためのイメージです)左のサンプルの見方。「1」で輪郭のクッキリ具合、「2」でディテールの描写、「3」でグラデーションの滑らかさを確認できる

良好な画質に落とし込む作業に苦心

――超解像は、ほかのパナソニックの機器で搭載されている製品はあるのでしょうか。

山本:すでに弊社のハイビジョンムービーとBlu-ray/DVDレコーダーで超解像技術が使われています。本社研究所で作った技術をそれぞれの製品に合わせて展開しています。

――ハイビジョンムービーに搭載された超解像技術はデジタルカメラと同じものなのでしょうか。

山本:搭載技術はデジタルカメラとほぼ同様なのですが、ムービーでは主にデジタルズーム領域でキレイな画質を出すことが主眼になります。ムービーでもiAズームと呼んで超解像技術によってデジタルズームの画質改善を図っています。

――実際に製品に搭載するには大きな苦労があるのでしょうね。

山本:そうですね。本社研究所の人たちと連携しながらやっています。たまに意見が食い違って議論になることもありますが。

――超解像技術を活用するにあたってデジタルカメラの開発側がたいへんなのは、最終的にユーザーに好ましいと感じてもらう良好な画質に落とし込む作業になるのでしょうか。

山本:そこがいちばん苦労するところですね。

阿武:超解像技術をヴィーナスエンジンに組み込む際も、研究所から渡されたそのままでは無理ですからね。

山本:デジタルカメラとムービーで、それぞれの画像処理エンジンに合わせてチューニングしながら組み込んでいきます。

――それぞれが本社研究所を経由して、ムービーとデジタルカメラでフィードバックしたりされたりしているわけですね。直接ムービーの開発部隊とはやりとりしないんですか。

山本:同じメーカーの製品で操作性が違いすぎてしまうのも問題ですので、ムービーの開発とは、超解像技術に関連した部分については同様の使い勝手にしようと連絡は取り合っています。

フル画素撮影時だけではない超解像技術のメリット

――超解像技術は、具体的にはLUMIXでどのように活用しているのでしょうか。

山本:まずは基本画質の向上に活用しています。超解像技術は、もともとデジタルズームで倍率を上げても画質が劣化しない機能からスタートしていますが、デジタルズームを使用しない場合でも基本画質の改善に使えます。ですのでフル画素そのものの画質に対して、超解像を使って解像感をアップしています。建物のようなコントラストの高い被写体や、文字など細かい被写体もくっきりハッキリしてきます。もちろん、解像感の不足がつねに課題となるデジタルズームでも、ガタガタした偽の信号を抑圧しながら拡大しても解像感はそのまま残るという処理を超解像で実現しています。

――フル画素だけでなく、デジタルズームの画質向上にも超解像は使われているのですね。

山本:われわれは「iAズーム」と呼んでいますが、光学ズームに対して、電子的なデジタルズームでも画質が劣化しない、光学ズームとほぼ同等の画質で実現できるので、搭載された光学ズームの性能に対して、もう少し幅広いズーム倍率で使っていただこうと考えています。もう1つ、高感度時の画質でもノイズを抑えながら解像感をアップするために超解像技術を使っています。

DMC-FX66によるiAズームのサンプル(いずれもパナソニック提供、効果を説明するためのイメージです)。光学ズームの望遠端(5倍)にしたところ
上の状態から、超解像OFFのデジタルズームでさらに1.3倍にしたところ(光学ズームと合わせると6.5倍)上の状態から、超解像ONのiAズームでさらに1.3倍にしたところ(光学ズームと合わせると約6.5倍)。超解像技術を用いることで、DMC-FX66の場合6.5倍のズームまでは解像感がほぼ劣化しないとしている

――さまざまな用途で超解像技術を活用しているのですね。

山本:LUMIXでは動画再生時に静止画の切り出しができます。ハイビジョン記録中にこの瞬間の静止画がほしいといったとき、ハイビジョンサイズの静止画だと画質的にもの足りないのですが、超解像でフルHDサイズにできます。また、シーンモードの高速連写モードや高感度モードでは、撮像素子で「画素混合」を行なうため記録時の画素数が少なくなるのですが、この場合にも記録画素を元のフル画素に近づけるために超解像を使っています。ズームマクロでも同じような使い方をしています。

友澤:動画中の静止画記録や連写の画素数など多彩な機能を搭載するにあたって、お客さまに機能を提供する代わりに画素数はすこし妥協していただくものがいくつかありました。少しでもその妥協点を少なくしてお客さまのベネフィットをより高めていこうというのがLUMIXに超解像を搭載する意義のひとつだと思っています。今までお客さまが諦めていたことを、もうちょっと諦める度合いを狭めていただいて、より満足感を高めていただこうというのが、デジタルカメラに搭載する意義だと思いますね。

阿武:クレームをいただいたわけではありませんが、少しでもお客さまの選択肢を広げることができるようにしています。“もっとこういった性能がほしい”と希望されるお客さまもいらっしゃいますので、さまざまなお客さまの要望にお応えすることができるようにと超解像の開発を進めました。

友澤:高倍率機「LUMIX DMC-TZ7」(DMC-TZ10のひとつ前の機種)をお買いいただいたお客さまに対するユーザー調査の結果です。「デジタルズームを使っていますか?」との設問に、35%の方が「使わない」。一方で「よく使う」という方が23%もいらっしゃいます。われわれは「よく使う」方がこんなに大勢いらっしゃるとは思っていなかった。ここでなにが読み取れるかというと、「使わない」という方は明らかにデジタルズームは使えないと思っている。「よく使う」という方々も、おそらく使うたびに「ちょっと画質が悪いなあ」というご不便をおかけしているんだろうと。やはり使って頂くからにはできるだけご不満を抱かせないようにとの思いが我々の商品開発の根底にあります。それほど使われないからと割り切るのではなく、少数でもその機能を使われる方がいる限りはキチッと仕上げていこうと考えているのです。

iAズームが1.3倍のわけ

――超解像によって画質劣化を抑えられるデジタルズームの範囲をiAズームというネーミングにされていますが、なぜiAズームは1.3倍なのでしょうか。

山本:実際に1.3という数字がどこかから出てきたわけではありません。測ってこうだから1.3倍というわけではないのですが、実際に人間の目で鑑賞した実感によって決めさせていただきました。

阿武:例えばデジタルズームで2倍にして超解像をかければ、その2倍に対しても十分に効果はあります。ただ、内部で議論して、やはり1.3倍がお客さまに納得してもらえる画質だということで、この1.3という数字を選択させていただいています。

友澤:超解像で解像感が上がっても、明らかにこれはデジタルズームだねといわれるモノを推奨はできないので、パッと見て光学ズームかデジタルズームか見分けがつかないというところを、メーカーの良心で判断して、今回は1.3倍というカタチにさせていただいてます。

――もちろんそれは今後、1.35倍とか1.4倍とかジリジリ上がっていく可能性も十分あるわけですね。

友澤:チューニングになりますので、超解像のより最適な構成の仕方がキチッとできれば1.4倍になり1.5倍になるでしょうね。

――現在は1.3倍のiAズームでも光学ズームとほぼ匹敵するということで1.3倍という数字が強調されているんですね。そのことは操作性にも反映されているのですか?

友澤:それは特にありません。光学ズームは光学ズーム、デジタルズームは従来どおり、例えば、8倍ズームレンズ搭載機種だと8倍以降はデジタルズームになりますので、8×1.3倍≒10倍くらいまで光学ズームとシームレスになっているわけではありません。

――そうですか。では、デジタルズームのON/OFF設定があって……。

友澤:そうです。いくら推奨とはいえ、デジタルズームを光学ズームとはいえませんので。

――もちろん表示でハッキリわかるようにして、iAズームの領域だけ光学ズームとシームレスに行き来できるといいかもなあとちょっと思ったのですが。

友澤:なるほど。今後の検討課題とさせていただきます。

超解像はON/OFFできる

――超解像は基本的にはフルオートで使うものですか?

阿武:今回の搭載機種では初期設定はONでフルオートになっています。もしくは、OFFも選択できるようになっています。

――OFFが設けてあるのは、どのような理由があるのでしょうか。

阿武:被写体条件とお客さまの好みがあります。お客さまのなかにはもっとやわらかく撮りたいという方もいらっしゃいますので、超解像オフの選択肢は必要だと考えています。

友澤:たとえば女性の顔を撮る場合、変にエッジがガチガチになって「私こんな顔ちゃうわよ!」となったときは、超解像をオフにしないと非常にまずいことになる……。

阿武:撮影モードのiAモードでは自動的に判断をするんですが、Pモードでは被写体の判別はしませんので。超解像は初期設定ではオンのままなのです。もともとポートレートでは女性の肌の質感をいかにきれいにやさしく表現するかが撮影テクニックのひとつです。超解像を設計する前から人物に関してはやわらかく描写しようと開発をスタートしています。

――では、この超解像技術には向く被写体と向かない被写体があるということでしょうか。

阿武:そうですね。平たく言うと、そういう風にご理解いただいてもいいかもしれません。

――向く被写体というのは、解像感が必要となるような遠景の風景などでしょうか。

友澤:建物などですね。

――一方、向かない被写体は?。

阿武:基本的にはポートレートが主で、風景でも、朝モヤの時間帯、モヤがかかってる雰囲気を出したいときにはオフにすべきだと思います。被写体だけではなくて撮影条件やお客さまの作画意図ですね。そこは選択肢としては必要になりますので。向く向かないですべて片付けられるとせっかくの機能がマイナス効果になってしまいますので、そういうトータルな機能とご理解いただいたほうがいいと思います。

友澤:すべからく機能というのは、我々はよかれと思って入れるのですが、基本的にはお客さまに使う使わないの選択をお渡しするべきだと思っています。

――たしかにユーザーは我が儘なもので、どんなにいい機能でも常にONで使ってたとしても、OFFがあるとほっとしますね。ではiAモードのときは超解像はかかりっぱなしですか。

阿武:iAモードではそのシーンに応じて、最適な超解像がかかるという風にご理解ください。

――超解像にもバリエーションがあるということですね。

阿武:iAモードの場合、たとえば風景と判断した場合、風景に最適な超解像がかかります。たとえば人であれば人に最適な超解像。人物は基本的には大きくかけないことを基本にしています。そのようにシーンによって変わります。それに対してP/A/S/Mモードでは超解像のデフォルト設定を持っていて、その範囲内でパーツに応じた最適なかけ方をするという具合になりますので、P/A/S/MモードとiAモードでは違った効果が得られることになります。

――iAモードのほうが被写体寄りになるわけですか?。

阿武:そうですね、被写体に最適な設定で。

山本:P/A/S/Mモードでは基本的には超解像ON/OFF設定があってONだったらつねにONということになります。iAモードのときは超解像オンでも、極端にいうと勝手にオンにしたりオフにしたり、被写体を見ながら判断をします。

阿武:選択されたシーンに応じて最適な量が可変するという。

――どちらがオススメなのでしょうか。

友澤:われわれはiAモードをオススメしています。簡単にストレスなくいい写真が撮れますので。

――iAモードでどうしても不満があるときはP/A/S/Mを選んでねと。

友澤:勝手に画質が切り替わると困る場合など、iAモードに任せるのではなく自分で設定したいお客さまもいらっしゃいますので。

この時期に超解像を実現できた要因は?

――この時期にデジタルカメラに搭載できたのはなぜでしょう?

山本:技術的には、東芝さんの超解像技術が先行してあったのですが、あちらはかなりゴージャスなプロセッサー「CELL」を使っていて、同じモノを作ってしまうと多分デジタルカメラのなかには入れられない。CELLと同等の処理回路をLUMIXに入れて電池が持つかというと、シャッターを切った瞬間に電池が落ちてしまうでしょうから、いかに画像処理エンジンのなかにコンパクトに組み込んで画質的に必要十分なものにするかというところが苦労した点なんですよ。

阿武:このあと他社が超解像をどう展開してくるかわかりませんが、早い時期から商品化に向けた取り組みをしていたことが、この時期に超解像を実用化できたことに結びついていると思います。

――本社研究所の方々と密に連携してということですね。

山本:彼らもデジタルカメラ開発の事情を理解していて、超解像の巨大な回路を作って「ほら、商品化!」というわけにはいかないのもわかっていますので、リーズナブルなサイズにまとめたものを提案してくれました。

――ということは、本当は超解像でできることはまだまだたくさんあるけど、ある程度必要最小限にしてあるということですか?

山本:見極めをどこまで持っていくかは、われわれの担当です。極限までやろうと思ったらキリがないのですが、いかにお客さまのメリットを最大にできるかだと思います。

――阿武さんは、超解像技術をLUMIXに搭載するにあたって特に苦労した点は何ですか?

阿武:本来どのくらいの解像度、解像感が必要かと考えたとき、本当はプリントするサイズで最適な解像は決まると思うのです。多くのお客さまはフル画素で写真を撮られますが、印刷サイズにはいろいろなバリエーションがあります。多くのお客さまはLサイズや2Lサイズで、写真が好きな方はA4サイズやA3サイズ。Lサイズに必要な解像とA3サイズに必要な解像には差がありますので、お客さまがどちらにサイズにプリントしたとしても納得してもらえる解像感とはどのくらいの量なのだろうかとひたすら悩みました。

――それは両立が大変ですね。

阿武:加えて、最近はPCのディスプレイで画像鑑賞するお客さまが多くいらっしゃいます。モニターに写真の全体を表示させる場合とピクセル等倍サイズで隅々までくまなく見る場合があり、そういったバリエーションに対して、超解像でどれくらいの解像感を設定して提供するかも相当に悩みました。最適ポイントをどこにするかは、被写体条件や最終段の画像利用法にもよってきますので、それらをトータルで判断して結論を出すのが非常に苦労したところです。

友澤:当然、結論に行きつくまでには、あらゆる被写体をさまざまな条件下で撮影し、さまざまな方法でアウトプットしてという作業が伴いますので、気力と体力と根気の続く限り画質を極めていくという部分が、苦労しているところだと思います。

阿武:ヴィーナスエンジンに搭載した超解像の回路は余裕のある性能を持っています。それをそのまま製品で使ってしまうと、やりすぎの部分が出てきます。ですから、できることと製品に盛り込むべきこと、その落とし所の見極めについては非常に苦労がありました。

――やりすぎのデメリットとは被写体とのミスマッチですか?

阿武:そうですね。必要以上の解像感は、ユーザーにとっては違和感につながりますので。僕の見た風景と違う……という。

――最終的なプリントサイズというのは大事な話だと思うのですが、Lサイズにするお客さまはずっとLサイズでプリントする。A3サイズの方は多分たくさん大きく伸ばすと思うのですが、それは同じ画像で両立するものなのですか。

阿武:正直いいますと、それぞれに最適な設定というのは、やはり両立はしないと思います。

――では、そのうまい中間というか……。

阿武:そうですね。現状の12MピクセルCCDについては、少なくともA3サイズ、A4サイズプリントでキッチリお客さまに納得してもらえるような画質を心がけたうえで、L判でもチェックして、両方のサイズで見てお客さまに納得いただけるであろうという確認をしています。

――レンズ交換式デジタルカメラでRAW撮影をされる方は、プリント作業に近い段階でシャープネスをかけますね。

阿武:印刷する直前、最後にお客さまの意図したサイズでシャープネスをかけるのが本当はいちばん望ましいのですが、コンパクトデジタルカメラの場合、それは現実的ではありません。現状としては、さまざまなお客さまの用途やプリントサイズをできるだけ広くカバーできる設定を心がけるようにしています。

レンズ交換式デジタルカメラへの応用は?

――超解像技術というのは、基本的には小さな撮像素子を積んでいるコンパクトデジタルカメラの話と理解してもいいんでしょうか。

山本:技術的には、コンパクトデジタルカメラでもレンズ交換式デジタルカメラでも使える技術ではあります。ただ、コンパクトデジタルカメラのレンズのほうが性能的には厳しいので、こちらのほうが効果がある技術だと思っています。

――超解像技術のレンズ交換式デジタルカメラへの応用はあり得ないのでしょうか。

友澤:基本的には画質を上げていくアプローチで、なおかつON/OFFできることなので、必ずしもレンズ交換式デジタルカメラに入らない機能ではないですね。なおかつ我々は、マイクロフォーサーズでコンパクトデジタルカメラからのステップアップユーザーの方々を取り込んでいこうという意図をもっています。そこでの課題は乗り換えのハードルをできるだけ低くすること。すなわち、コンパクトデジタルカメラからの操作性の継承といった部分が重要になってきますので、超解像は少なくとも乗り換えユーザーを取っていこうというマイクロフォーサーズの機種には入れるべき機能だと思っています。

(編注:インタビュー時点では未発表だったが、同社は3月9日に超解像技術を搭載したマイクロフォーサーズ機「LUMIX DMC-G2」を発表した。)

LUMIX DMC-G2(4月28日発売)



(小倉雄一)

2010/3/24 00:00