開発者に聞く“高画質化の理由”とは？…キヤノン「Neural network Image Processing Tool」（その2）

ディープラーニングを活用した新しい概念の画像処理技術「Neural network Image Processing Tool」が話題だ。前回の記事では、5名の写真家による実証レポートをお届けした。

今回はその補足として、キヤノンの開発者へのインタビューを掲載。さらに後半では、同じくディープラーニング技術を用いた高解像度ツール「Neural network Upscaling Tool」についても解説したい。

※本企画は『デジタルカメラマガジン2023年7月号』の内容を抜粋・再構成したものです。

3つの機能を組み合わせて高画質化を実現

Neural network Image Processing Toolを使うためにはDigital Photo Professional 4.17以降が必要となる。

ツールをインストール後にRAWファイルを選び、拡張機能からツールの起動を選ぶとツール画面が表示される。デモザイクはON固定で、他の2つは効果を5段階から選べる。

機能その1：ノイズリダクション

ノイズが多い画像と少ない画像の組み合わせを大量に学習させた結果に基づいて、撮影した画像からノイズを除去した画像を推測。推測した情報を利用することで、従来のノイズリダクションよりもノイズの少ないクリアな画像を得ることができる。

＋2｜OFF
（撮影：チャーリィ古庄）

機能その2：レンズオプティマイザ

従来の画像処理では補正しきれない収差や回折現象による解像劣化を、レンズの設計値に基づいて学習されたディープラーニング画像処理により補正し、画像の解像感を向上させる。従来のデジタルレンズオプティマイザよりも被写体を高精細に描写した画像を生成できる。

＋2｜OFF
（撮影：館野二朗）

開発者に聞く「Neural network Image Processing Tool」

※回答：キヤノンマーケティングジャパン株式会社 商品企画担当

──なぜNeural network Image Processing Tool という名称にしたのでしょうか。

このアプリケーションではディープラーニングによる画像処理技術を用いています。“Neural network”とは、ディープラーニング技術で使用される計算モデルのことであり、人間の脳の構造から着想を得た人工知能システムの1つです。このアプリを端的に表現するのに適しているので用いました。

──「ノイズリダクション」は見違えるようにノイズが少なくなり、滑らかになるだけなく解像感も復活します。見えにくかった星も見えるようになっています。どのような処理をしているのでしょうか。

劣化の少ない画像データ（目標となる正解画像）と、それにノイズを重ねたデータ（実際の撮影画像に相当)のペアを大量に生成して学習することで、従来の画像処理よりも高次元に、ノイズなのか現実のディテールなのかを判別できるようになりました。その結果、大きな効果が出たと考えています。

──「レンズオプティマイザ」はベールをはがしたようなクリアな仕上がりになります。撮ったあとからこれほどまで解像感が上がるのは、どのような処理をしているのでしょうか。

ピントが合っていて、ブレがない場合でもレンズには原理上必ず光学的なボケが発生します。レンズで発生する光の回折や収差です。ニューラルネットワークレンズオプティマイザはディープラーニングによって、この収差と回折によるボケを補正する機能です。レンズ1本1本の設計値と撮像シミュレーション技術を合わせることで、収差や回折のある画像（実際の撮影画像に相当）と、ない画像（目標となる正解画像）のペアを高精度かつ大量に生成しました。その学習データと光学的な知見を組み込んだキヤノン独自のディープラーニング技術を合わせることで、高い解像感の向上効果を実現しました。また従来補正が難しかった白飛び周辺のボケにも補正効果があり、ボケ補正に伴って発生していたノイズの増幅も抑制できるようになりました。

──効果を適用すると緑の発色で少し青みが強くなります。これはコントラストが上がるからでしょうか？

基本的に色みを保持するような補正を行っていますが、細い線や細かい被写体において、色解像感の向上や偽色の低減により本来の色みに近づきます。また、高感度においては色ノイズ低減の程度により色みが変化しているように見えることがあります。

──順光でメリハリのある写真は非常に効果を感じました。効果が出やすい写真、出にくい写真はありますか？

従来の画像処理と同様ですが、被写体に存在するエッジとノイズを区別することが困難なコントラストの低い被写体はノイズリダクションでエッジが消失しやすく、ニューラルネットワークレンズオプティマイザでも補正しにくい苦手な被写体となります。逆にコントラストの高い被写体は被写体に存在するエッジとノイズを区別しやすいため補正効果が高くなります。

──効果で「−（マイナス）」が選べる理由を教えてください。

マイナスは標準より補正効果を弱める設定ですが、従来の画像処理と同様に、このニューラルネットワークレンズオプティマイザとニューラルネットワークノイズリダクションも、被写体やノイズの影響により誤補正や過補正といった弊害となることがあります。補正後に期待する補正効果が得られなかった場合、補正効果を弱めて弊害も低減する選択肢としてマイナス方向の補正範囲を設けています。

──現在はWindows版のみの提供となっています。動作に外部GPUが必要な理由を教えてください。

macOS版につきましては検討を行っております。社内データではDPPのWindows利用率が非常に高いことからWindows版を先行して市場公開させていただきました。外部GPUが必要な理由はディープラーニング画像処理は計算負荷が非常に高く、GPUを用いて効率的な処理を行う必要があるためです。なお、Neural network Upscaling Toolは GPUなしでも動作します。

──処理に時間がかかりますが、短縮するにはCPUとGPUの高速化、どちらが効果的でしょうか。

Neural network Image Processing Toolを用いた画像生成のフローは、本ツールによるRAW画像に対する高画質化処理と、DPPによる現像処理の2段階で成り立っています。パソコンの環境によるため一概には言えませんが、Neural network Image Processing Toolのディープラーニングによる画像処理技術につきましては、GPUを使用しているためGPUの高速化の効果が高く、DPPの現像処理につきましては、主にCPUを使用しているためCPUの高速化の効果が高くなります。

精細感を保ちながら画素数を4倍にできる「Neural network Upscaling Tool」

Neural network Upscaling Toolは、画質を保ったまま高解像度化できるツール。Neural network Image Processing Toolとは別ソフトとして提供されている。

被写体からの光が撮影により画像になる過程を再現した技術を用いて、キヤノンが保管するさまざまな高解像度のRAWデータから高解像度画像と低解像度画像の組み合わせを学習。JPEGやTIFFの画像の解像感をキープしながら、ディープラーニング画像処理により色、輝度、ノイズ感を変えることなく、縦横の画素数を2倍、全画素数を4倍に変換できる。（写真・文：岡嶋和幸）

EOS R8／RF50mm F1.8 STM／絞り優先AE（1/1,000秒、F1.8、±0.0EV）／ISO 100

補正前

Upscalling Tool

レタッチソフト

EOS R8／RF50mm F1.8 STM／絞り優先AE（1/200秒、F9.0、−1.0EV）／ISO 100

補正前

Upscalling Tool

レタッチソフト

Neural network Upscaling Toolの使い方

①有料プランに加入する

ツールを使うには有料のプランに加入する必要がある（1カ月の無料期間あり）。Neural network Image Processing Toolの有料プランに入っている場合は追加加入なく、そのまま使える。

②ダウンロードしてソフトを起動

ツールを起動後、解像度を上げたいファイルをウィンドウにド ラッグ&ドロップもしくは、ファイルメニューから写真を選ぶ。 選んだら、右下の実行ボタンを押すと自動的に処理が進む。

・注意：RAWや小さ過ぎる画像は 使うことができない！

このツールはJPEGとTIFFのみ対応で、残念ながらRAWでは使えない。また縦横の画素数が400ピクセル以下、6,500万画素より解像度が高いファイルも対応していない。下の画面が表示されたときはファイルを確認してみよう。

使用機材：ASUS Zenbook Pro 14 Duo OLED UX8402VV
協力：キヤノンマーケティングジャパン株式会社