トピック
【開発者が語る】何がすごいの？ キヤノンの“カメラ内”のアップスケーリング&ノイズ低減
CP+2025キヤノンブースセミナーより
2025年3月28日 07:00
CP+2025最終日の3月2日（日）、キヤノンブースにおいて「ニューラルネットワークノイズ低減」と「カメラ内アップスケーリング」をテーマとしたプレゼンテーションステージが開催された。
いずれも2024年発売の現行機種「EOS R1」と「EOS R5 Mark II」が搭載する機能。2024年時点では月額制ソフトウェア「Neural network Image Processing Tool」「Neural network Upscaling Tool」でのみ利用可能だったが、前述の2機種に搭載されたことで、カメラ内でも利用可能になった。
ニュース
キヤノンの4,500万画素機「EOS R5 Mark II」が登場…カメラ内アップスケーリングで“約1億7,900万画素”に
視線入力に対応 8K 60pの動画RAWデータ記録も
2024年7月17日 19:05
この日のステージでは、開発に携わったキヤノン株式会社イメージング事業本部の杉森正巳さん、畠山弘至さん、写真家の福島啓和さんが登壇し、本機能の開発秘話やユーザー視点での利便性などについて語った。
また記事後半では、杉森さんと畠山さんに開発の裏側や今後の展開などについて、より詳しく話を伺っている。
「あるがままを再現する」ために開発
プレゼンテーションステージでは、福島啓和さんの作品に両機能を適用したユースケースの紹介と併せて、杉森さんと畠山さんによる技術解説を実施した。
ディープラーニング画像処理機能に関する解説は主に畠山さんが担当しており、開発の狙いや学習の仕組みについて説明している。
畠山さんによると、ディープラーニング画像処理機能の開発コンセプトは「写真が持つ底力を引き出す」ことだという。カメラはレンズの収差やノイズによって少なからず劣化が生じるが、それを画像処理で補正する。この画像処理部分にディープラーニングを使うことで、写真本来の質感を引き出せるようになった。
畠山： ディープラーニングと聞くと生成AIを連想する方もいらっしゃるかと思います。そこになかったものを"描いて"しまうのではないかと心配されるかもしれない。でもそうではなく、これは「あるがままの情景を再現する」という方向性で開発した機能です。
今回ご説明する意味でのディープラーニングは、人間の脳神経をヒントにしたニューラルネットワーク構造を使って画像処理を行なう手法のことです。補正したい画像を入力し、ニューラルネットワーク内で何度も処理を繰り返して出力画像に変換することで、望ましい補正結果を得るという仕組みです。これには開発段階での”学習”が必要で、学習済みのニューラルネットワークをカメラに実装しているのです。
学習させるのは、開発者が用意した撮影相当の入力画像と"正解"の画像。この入力と正解のペアを”学習データ”と呼ぶ。何層にも連なるニューラルネットワークは何度も学習していくうちに、正解の画像に近づくように補正を行なうようになり、開発者はこれを「学習」と呼んでいる。これが”ディープラーニング”と呼ばれる手法の所以だ。
畠山： ここで重要なのは「様々なシーンを学習すること」と「カメラに合致した補正をすること」です。前者は多様なユーザーが様々な場所やシーンで撮影することを想定して、幅広い学習データを用意すること。そして後者は、カメラ機材の特性に合致した補正を行なうように学習させることです。
我々が持っている膨大な数のRAWデータを元に正解画像を用意し、それをカメラやレンズの特性に合わせて生じる光学的な変化などをシミュレーションして作成した撮影相当の画像を、入力画像として用いるのです。
ニューラルネットワークは「このカメラとレンズの組み合わせで撮ったらどうなるのか」を加味したうえで「正解画像」に近づけるように、つまり「あるべき姿を再現するように」学習する。ここでは想定しうる限りのシーンの入力画像と正解画像の関係について膨大な回数の学習を経ているので、入力画像、つまりユーザーが撮影した写真に対して補正をかけるときに、まったく関係のない何かを描き始めるようなことはないのだという。
ニューラルネットワークによる画像処理機能は、ディープラーニングに特化した映像エンジン「DIGIC Accelerator」によって可能になった。現行機種ではEOS R1とEOS R5 Mark IIに搭載している。
カメラ内処理の方が優秀？
ディープラーニングによるノイズ低減機能とアップスケーリング機能は、それぞれ単体アプリ「Neural network Image Processing Tool」と「Neural network Upscaling Tool」で利用できる機能だが、特にアップスケーリングに関しては、同じ画像をアプリで処理するよりもカメラで処理した方が画質が良いという。
その理由は、「アプリ版」と「カメラ版」で仕様が違うからだと畠山さんは説明する。
畠山： アプリ版のNeural network Upscaling Toolは、撮影したカメラやレンズを限定しない汎用性を重視して、手軽にアップスケーリングを利用できるようにしています。できるだけ多くの方に使ってほしかったので他社製のカメラで撮影したJPEGやTIFFを入力しても効果が得られるようにしました。一方のカメラ版は、当然ながらカメラ部分の変数が固定なので、より精度の高い最適な処理ができるというのが理由ですね。
ちなみにニューラルネットワークノイズ低減の場合はどちらもRAW画像に対して処理を行なう仕様になっているため画像の素性が分かっており、効果はほとんど同じなのだという。
飛躍的に高まる撮影の自由度
一方、写真家の福島さんは業務のワークフローとして、実際にカメラ内アップスケーリングを活用している例を紹介。利点としてはアップスケーリング後に大胆にトリミングできる点を挙げた。
例えば、横位置で撮影した写真に対して「縦位置のカットがほしい」というクライアントの要求にも対応しやすいと話しており、カメラ内アップスケーリングを利用し始めてからの最も大きな変化は、縦位置と横位置を押さえるためのカメラ2台体制から、ムービーと写真を撮影する形に変更できたことだという。
さらに、他社のカメラだとセンサーシフトによる高解像度化も機能として有しているが、動体（今回の場合は鉄道）には基本的に対応できない。これもアップスケーリングのメリットの1つとして強調する。
アップスケーリングの適用例としては、仕事で訪れたロケ地で撮影した作品を例に使用感を説明した。
小丸川橋梁を走る713系の電車を撮影した写真の例は、EOS R5 Mark IIで撮影した8,192×5,464ドットの写真を16,384×10,928ドットにアップスケーリングし、画面の一部だけを大きくクローズアップしている。
特急列車の「ゆふ」を撮影した写真は、元々縦位置だった作品をアップスケールしてトリミングを加え、横位置の写真として出力している。
福島： この作品では、50mmのレンズで前ボケを大きく効かせています。アップスケーリング処理後の作品を見ると、電車部分の解像感は十分出ているし、ボケ味も損なわれていません。
特急「かんぱち・いちろく」を撮影した作品には、ニューラルネットワークノイズ低減とカメラ内アップスケーリングの両方を適用。一般的な画素補間となるバイキュービック法による処理や、他のディープラーニング手法との比較を示した。
それぞれの画像を拡大してみると、路線図をモチーフにしたゴールドラインに明確な違いが出ている。正確にアップスケーリングされたニューラルネットワークノイズ低減＆カメラ内アップスケーリングに対し、他は点線が繋がってしまったり、エッジが不自然に強調されたりしている。
畠山 ：この例では、過剰に補正をかけることはせず、カメラの性能において不自然さのない範囲で補正を行なっていることがわかります。開発者として、みなさんに安心して使っていただければと思います。
昨年のCP+2024のステージで反響を呼んだという、ニューラルネットワークノイズ低減の例も紹介された。この頃はまだPCでの処理に限定されていたが、高感度ノイズの低減により、写真としての素の完成度を上げる高い能力を実証している。
杉森： ノイズ低減の改善自体は、もちろんこれまでも人の手でやってきたことではありましたが、ここにニューラルネットワークを使うと、短時間では、人間には不可能な何万、何十万という学習から、望ましい画像の結果を出してくれるハードウェアの構成を得られるようになりました。
杉森： これまで高感度で撮影した写真に乗るノイズは、その設定で出てくる画像が我々の精一杯の設計の結果だったりするわけです。しかしそこにニューラルネットワークノイズ低減をかけると、我々の予想を上回る結果が出てくる。たとえばこれまでのアルゴリズムでノイズ低減を適用すると、どうしても眠い描写になってしまったところを、しっかりとシャープに残してくれるようになる。これまでの手法で我々が想定した水準を超える成果を出すことができる。画像処理にディープラーニングを利用すると、このくらい劇的な効果が得られるということなのです。
なお上記プレゼンテーションステージの内容については、当日のアーカイブ動画でより詳しく知ることができる。
目的は「あるべき姿に戻す」「あるがままの情景を再現する」
プレゼンテーション終了後、杉森さんと畠山さんにお話を伺った。
杉森さんは「EOS-1D」の時代から画作り、エンジン設計、パラメータ設定などカメラの画像処理に深く関わってきた。畠山さんはレンズの設計と画像処理の研究開発に長く従事しており「デジタルレンズオプティマイザ（DLO）」の開発にも携わり、現在はニューラルネットワーク機能の開発に取り組んでいる。
——カメラ内にニューラルネットワーク機能を入れるに至った経緯についてもう少し詳しくお聞きしてもよろしいでしょうか？
杉森： 変化が劇的ではありましたが、やっていることは昔からずっと続けてきたことで、つまり新しい機能を実装するハードウェアを作るにはどうしても長いスパンがかかります。
新しい機能をカメラに実装しようと思っても、多くの場合はハードウェアができるまで追加できません。
その一方で、ソフトウェアはどんどん進歩していくので、先にPC向けのアプリを出しました。機能の良さを知っていただいてから、カメラで使っていただく、という流れですね。古い例で言えばDLO（デジタルレンズオプティマイザ）がまさにそれですね。
畠山： DLOも当時としてはかなり重い処理で、画像処理の実装からすると、処理が複雑すぎるということで、「適用は1秒に1枚」といった風に制限をかけたりはしていました。それもハードウェアの進歩と手法の工夫で現在の使い勝手まで進化したのです。
——機能としてのディープラーニング画像処理は、ファームウェアのアップデートなどで改善できるものなのでしょうか？
畠山： 仕組みとしては可能ですが、ディープラーニングの学習が進んだことだけをもって提供することはできません。写真として作り込むには、ディープラーニングだけではなく、学習の過程で出力した画像を正解と照らし合わせて、より高精度な結果が再現できるようプログラムを組み、製品のレベルに仕上げる必要があるからです。写真としてさらに細部を見たときに、補正をかけすぎていたり、不自然な解像になっていたりといった部分の微調整を後で施すことはします。とはいえ、アップデートしたい内容は映像エンジンとの相性もあるし、様々な事情が絡んでくるので、実際に現行機種のアップデートとして提供できるかは必要に応じて判断していきます。
杉森： DIGIC Acceleratorはディープラーニング画像処理機能のような画像処理だけに使うわけではなくて、例えばAFの被写体認識にも使えます。用途を限定しない汎用性がある点も、旧来のハードウェアにない良さです。
——「Neural network Image Processing Tool」では、今回カメラ内でできるようになったノイズ低減のほかに、「ニューラルネットワーク・レンズオプティマイザ（NLO）」と「ニューラルネットワーク・デモザイク」が使えます。今回これらの機能を搭載しなかった理由について教えてください。
杉森： まずは、効果がはっきり目に見えてわかりやすいものを優先して搭載しました。レンズオプティマイザもデモザイクもそれなりに時間がかかる処理なので、機能として明確に効果が実感でき、みなさんに使いたいと思っていただけるようなものでなければいけません。その観点からいえば、ノイズ低減はご紹介した通りの効果ですし、アップスケーリングもプロのワークフローの中で通用するものになっていると考えております。
畠山： NLOはDLOのディープラーニング版と呼ぶべきものですが、DLOと同様、レンズ1本1本に対して学習を行なっています。撮影条件によっても補正しなければならない収差は変わるし、どうしても他の機能より複雑で大きなデータになってしまうんですよね。これを無理にカメラ内処理へ落とし込むと、動作が非常に重くなってしまう。今はそういう段階なので、製品としてお出しできるクオリティに仕上げてからお出ししたいと思います。
——アップスケーリング機能について、今後の方向性を教えてください。
畠山： 現在は縦横それぞれ2倍ずつアップスケールする機能になっていますが、それ以上アップスケールするという判断は慎重に下す必要があると思います。ディープラーニングの手法次第ではいま広く使われている生成AIのような補間もできますし、それはそれで有効な使い道があるとは思いますが、写って無いものを描かないという方針で開発している製品においては、2倍程度までしか効果が得られないというのがキヤノンの見解です。
——今後、カメラに搭載したい新機能はありますか？
畠山： これまで、開発の過程でアイデアレベルの機能を試しに作ってみることはありましたが、実用には至らないことも多かったのです。でもディープラーニングという手法が出てきたことによって、製品レベルに届かなかった機能が実用レベルになるというケースが出てくる可能性は大いにあると考えています。
——最後に、開発者として読者に伝えたいことはありますか？
畠山： 我々の画像処理には「本来あるべき姿に戻す」という発想が根幹にあります。カメラのメカニズムを加味して補正する画像処理に、いまディープラーニングという進化した手法が使えるようになりました。これを説明することによって、プロカメラマンをはじめとしたユーザーのみなさんにも、AIで適当なことをしているのではなく、理にかなった補正をしていることがご理解いただけるのではないかと思います。
杉森： 良く訊かれるのは「画像を生成してないの？」という疑問です。今回キヤノンがご提供するディープラーニング画像処理は、これまでやってきた画像処理の延長であり、我々が根幹に据えているのは、「あるがままの情景を再現する」というコンセプトなのです。