JPEG互換のHDRフォーマット、ドルビー「JPEG-HDR」の狙いとは

　元々は音響技術の会社であったドルビー・ラボラトリーズも、今やパソコンや携帯電話、スマートフォンなどにも技術を提供するようになってきた。もっとも、パソコンや携帯電話に対しては、音声イコライジングや仮想サラウンド効果の技術を持ち込むことで、ドルビーの存在感を示していたが、なぜデジカメWatchで?? と訝しむ声もあると思う。

　実はドルビーは今世紀に入ってから、積極的に映像あるい音響に関わるデジタル信号処理技術を開発、あるいは有望な特許を持つベンチャーを買収してきた。たとえば、今では一般的になっている液晶パネルのバックライトを領域別に制御する“ローカルディミング”という技術。これはDolby Visionの名称で、他社への技術供与を模索した。結果的には他社の採用はなかったものの、自社開発の液晶マスターモニターの開発へつながった。

　さて、そのドルビーが、Dolby Visionの際と同じように、将来有望な技術として投資してきたのがHDR、すなわち写真のハイダイナミックレンジ技術である。ドルビーは、HDRデータを記録するJPEG-HDRを開発していたBrightSide社を2007年に買収。その知的財産権を継承し、HDRデータの標準フォーマットを策定すべく開発を続けてきたという。

　BrightSide社の技術は、JPEGを拡張することでHDRを記録するというものだ。まったく新しい技術か? と言えば、そうではない。たとえば、これまでにも同様の提案はマイクロソフトからもあった（Windows Media Photo、後のWindows HD Photo）。JPEGとの互換性を維持しているとはいえ、どのような意図でこの技術を発表したのだろう。

■HDRと格納フォーマット

　HDRというキーワードはさまざまな場面において、異なる意味で使われることがある。広ダイナミックレンジと訳されるように、通常より広いダイナミックレンジ（写真の場合は明暗の範囲の広さ）を扱う技術や手法のこと全般を指し示している。

　たとえば、最近はiPhoneをはじめとしたスマートフォンにも、HDRと称される撮影モードが用意されているし、もちろん一般的なデジタルカメラにも搭載されている。このときに使われるのは、トーンマッピングという手法で、出力されるのは通常のJPEG画像である。

　広いダイナミックレンジを一枚の画像で表現するには、大きく分けると二つの壁がある。それを解決するための方法がいくつかあり、トーンマッピングはそのうちのひとつだ。

　壁のひとつめはJPEGの制限。ダイナミックレンジを広く取ると、256段階しか表現できない階調の壁にぶち当たる。これはJPEGそのものの制限で、HDRの階調を256階調で表現すると確実に斑模様になってしまう。

　もうひとつの壁はディスプレイや反射原稿（プリント）の限界。ディスプレイのダイナミックレンジは、黒をいくら沈めてコントラスト比を出したところで、輝度には限界があり、本来のダイナミックレンジを表現できるはずもない。プリントならなおさらだ。

　そこで、広いダイナミックレンジの映像データを分析し、領域ごとに最適な露出を選んで合成して出力するのが、トーンマッピングという手法だ。広いダイナミックレンジの中から、あたかも肉眼で見た場合に近いトーンにマッピングする処理を、被写体や背景などに応じて最適にするわけだ。

　では、どのようにHDRの画像を撮りだしているかと言えば、PhotoshopのHDR機能と同じように、異なる露出の画像を複数組み合わせてHDRデータを生成。そのHDRデータに対して、領域を自動認識した上でのトーンマッピングを行なうということだ。

　しかし、当然ながらトーンマッピングを行なうと、領域を個別に見る際には記憶に近いトーンで見えるものの、全体にはダイナミックレンジが圧縮された形になる。逆光で撮影した背景と人物などが、その好例だろう。格納されるJPEGファイルは、撮影した本来の風景とは全く違うものになる。

　そこで、HDRデータをすべて保存しておこうとして考ええられた記録形式がある。Windows HD PhotoやRadiance RGBEなどがそれだ。PhotoshopのPSDでもHDRを保存できる。これらのフォーマットを使えば、たとえばRAW現像時、露出を決めずにRAWにある輝度情報をすべて出力しておき、色だけを確定。露出は後から用途に応じて調整するといった使い方もできる。

　さて、かなり前置きが長くなったが、ドルビーが開発したのは、これらHDRを格納するフォーマットと機能的には同じもので、JPEG-HDRという名称で知られている。

■JPEG-HDRとは?

　さて、この名称を見ただけで、勘の鋭い方なら、おおよそ、どんなフォーマットなのかがわかるだろう。JPEGには画像本体以外に、付加情報が格納できるように設計されている。この格納方法を活用し、HDR情報とJPEGデータの差分を付加情報領域に収めたのがJPEG-HDRだ。

JPEG-HDRを基にした新画像技術 全体フロー。2月27日〜3月1日にかけてバルセロナで開催されたMobile World Congress（MWC）2012で発表された（Dolby Japan株式会社提供、以下同）

　付加情報として記録されているのは輝度情報の差分と、若干の色差情報（階調が8ビットに落とされる際に生じる色相のズレを補正する情報）を加えたもので、JPEGと同じくDCT（逆コサイン変換）によって圧縮される。ファイルサイズは、通常のJPEG比で1.2〜1.3倍程度で収まるという。

　元のJPEGも差分情報も、ロスレス圧縮ではないため、当然ながら歪みが発生する。しかも両情報は異なる歪みを持つわけで、これを合成してもよいものか? と質問してみたが、実際の映像において悪影響を感じることはない、と断言していた。

　通常のJPEGビューアでJPEG-HDRを表示すると、一般的なJPEG画像。HDR対応ビューアを使ったときだけ、HDRデータとして、露出を自由自在に操れる。互換性を維持したまま、HDR情報をすべて持てるというところが、JPEG-HDRの核心部分である。

　JPEG-HDRを開発したのは、前述したBrightSideで、それに改良を加えることで、特にセンサーのダイナミックレンジが狭くHDR機能の必要性が高いスマートフォン向けのソリューションを、スペイン・バルセロナで開催しているMobile World Congressで発表。スマートフォン向けにライセンスを開始しながら、デジタルカメラへの採用も目指している。

　JPEGと互換性がありつつHDRで保存できるのだから、なんの問題もないだろうという感想を持つかもしれないが、少し疑問を持ったので、さらに応用面、実用化の面で突っ込んだ議論をドルビーの担当としてみた。

■ドルビーの強みとは? 本当に普及が狙えるのか?

　まさに見出しに書いてある通りで、ドルビーのJPEG-HDR技術をスマートフォンやデジタルカメラのメーカーが採用する理由が、本当にあるだろうか? というのが、最初に考えたことだった。

　ドルビーによると、JPEG-HDRだけでなく、日本のベンチャーであるモルフォの提供するMorpho Full HDRと組み合わせることで、競争力を引き出せるという。これはHDR画像の合成処理を行なうための技術で、異なる露出の複数画像を組み合わせ、HDRデータを生成する……のは他のHDR合成技術と同じ。異なるのは、手持ち撮影で微妙に異なる構図になっている映像でも、途中で動いている被写体があったとしても、自動的に補完して1枚の完成した絵を得られることだ。動体処理を行うとともに、複数キャプチャ映像を合成しての手ぶれ補正処理も施される。

　つまり、モルフォの技術で手持ち撮影でHDRを生成し、ドルビーが特許を持つJPEG-HDRで保存する。このパッケージソリューションが、ドルビーの発表内容のキモの部分である。

　ドルビーのHDRビューアは、単に露出を補正しながらJPEG-HDRの画像を見れるだけでなく、写真の一部を拡大すると、構図の変化に合わせて動的に露出を最適にする機能がある。部分的に拡大したとき、ちゃんとその拡大した場所の情報が、表示される画像のダイナミックレンジに収まるようにしてくれるわけだ。

　ドルビーはAndroid向けにライブラリセットを提供し、OEM先（すなわちスマートフォンベンダー）が標準のカメラやギャラリーに機能を追加する形で製品化されるのがよいのでは? と話していた。さらにHDRデータを持たせたまま、クラウド内で動かす写真共有サービスにアップロードさせ、別のスマートフォンにインストールしたHDRビューアで見るといった使い方も想定しているという（クラウド内の画像共有サービスを使うのなら、アップロードしたアルバムに対してオンラインで露出変更や特定領域だけの露出最適化などを行ない、非対応端末からはJPEGでダウンロードできるなどの機能を提供してもらいたいのだが……）。

　カメラ単体にはどのような形でライセンスするのか?といったところも気になるが、実は一番気になったのは、一般的なユーザー層がHDRでのデータ保存を望んだり、あるいは望むとしても積極的に活用するだろうか?ということだ。

　振り返って、この分野におけるドルビーの強みは、JPEGと互換性のあるHDRフォーマットを持ち、その周辺ソフトウェアが開発済みという点だ。しかし、ユーザーが求めているのが、HDRで広ダイナミックレンジを保管することなのか? というと、疑問が出てくる。

　現状、JPEG-HDRで記録しておいても、後々の活用方法はドルビーのビューアを使っての閲覧だけだ。もちろん、部分的に露出が変更できるのは面白いが、スマートフォン上でHDR対応ビューアを使い、後から露出を変更するような用途がどれだけあるかは疑問だ。

　エンドユーザーの立場からすれば、局所的にトーンマッピングを最適化して広いダイナミックレンジをJPEGの中で表現してくれる方が、他ユーザーとの間で写真を共有する場合にも手軽に違いない。

　もしスマートフォンやコンパクトデジタルカメラで、一般的なユーザー層にも受けるように……となると、たとえばHDRデータを表示したタッチパネルの上で、指を擦ってみると特定の被写体を認識して擦った分だけ明るさが変化する……といった、エンターテイメント性のある使い方の提案が必要ではないだろうか。

　また、もっと本格的に一眼レフカメラなど、高画質なカメラでのニーズとなると、HDRを欲しがるユーザーならRAW撮影している場合が多くなるのではないだろうか。保存形式もJPEGとの互換性よりも、ロスの少なさが重視されるだろう。

　となれば、HDR生成時に必要となるのはモルフォのMorpho Full HDRであり、これが現像ソフトなり、カメラ内に入っていれば、あとは別のフォーマットを使っても構わない。HDRはそのまま画像をユーザーに見せられるのではなく、何らかの判断を経て表示するトーンが決められるからである。ニーズを考えればJPEGとの互換性もさほど重視されないはずだ。

　とはいえ、HDRで記録できるフォーマットは、何年も前からさまざまな提案がありながらも、標準が決まっていない状態が続いてきた。ドルビーはスマートフォンの世界でデファクトスタンダードを目指し、カメラメーカーへと売り込むシナリオなのだろうか。

　個人的には微妙にニーズと技術のマッチが取れていないという印象を持った。今後、おそらく搭載されたスマートフォンが発売されることもあるだろう。並行してデジタルカメラメーカーへの売り込みもあると思われる。まずは、そこでのユーザーの反応を、各社とも見て判断することになるだろう。