生成AI時代の「写真」とは

写真における生成AIの影響として最近増えているのが、撮影後に写真を補正する場面だ。写真というのはフィルム時代から撮影して終わりではなく、現像までしてから完成するものであり、デジタルになってからは、最終的にソフトウェアで補正・現像するようになった。

そこにAIが活用されるようになっており、最近では生成AIも取り込まれるようになった。そうした「現像」における生成AIの現状について、Adobe Lightroomを例に検証したい。

写真編集におけるAI

「AI」という言葉が写真関連のソフトウェアに使われるようになってから数年が経っている。2016年にAdobeとカリフォルニア大学バークレー校の研究者らが発表した「Generative Visual Manipulation on the Natural Image Manifold」という論文がある。

ニューラルネットワークを使って大まかな絵を描くと画像を生成するというもののようで、現在の生成AIにも近い。最近はスマートフォンでこうした機能を搭載した端末が登場してきているが、これはPhotoshop向けの機能だろう。

2017年にはAdobeがLightroom CCを発表。AI機能であるAdobe Senseiへの言及もあったが、この時点ではまだ画像の検索でのAIの活用という話がメインだった。

同じく2017年には現Skylumが「Luminar 2018」を発表。AIを使ったフィルターなどの機能を搭載していた。

このあたりから、画像編集ソフトに対してAIを使う例が増えてきた。LuminarのようにAIを活用したフィルター、ON1 Photo RAW 2019でのAIマスキングツールなど、用途は様々だが、AI（ニューラルネットワークや機械学習、深層学習）を使って画像の処理を行う機能がいくつか登場していた。

Adobe Senseiは2020年のニューラルフィルターなどの機能に活用されながら発展を続けてきたが、その技術の1つとして登場したのが生成AIのAdobe Fireflyだ。

第1回目の通り、画像を生成する生成AIは他にも複数あるが、Adobeは自社のソフトウェアに組み込むことで、ソフトウェア上での生成AIの利用を実現した。生成AI機能を搭載したのはPhotoshopやLightroomなどで、今後動画編集のPremiere Proへの搭載も予告されている。このあたりはクリエイティブ系のソフトウェアを開発し、さらにAIも長年研究してきたAdobeがならではだろう。

Adobeの開発の歴史。コンテンツに応じた塗りつぶしは直接AIという表現はされてこなかったが、継続してAdobe Senseiとして開発されてきた

2024年7月にはテキストで画像を生成するなど生成AI機能を備えたデザイン制作ソフト「Microsoft Designer」の提供が開始され、この中に「AIツール」として「生成消去」「背景の削除」「背景のぼかし」機能が搭載された。写真ソフトのMicrosoft Photosも一部環境向けに提供されはじめたが、ここにも生成AIを使った削除機能が搭載されており、Lightroomと同様の機能が使えるようになっている。

Microsoft Designerにおける「生成消去」。カーソルを合わせるだけでオブジェクトをある程度認識して選択できるので、手軽に消去ができる

他にもスマートフォン向けでは、GoogleフォトアプリやSamsungのギャラリーアプリのように、AIを使ったオブジェクトの削除機能などが搭載されている。こうした「AIを使った削除」機能は、今後さらに広がっていきそうだ。

Lightroomの生成AI削除とは

ともに画像を扱うソフトではあるが、PhotoshopとLightroomは性格の異なる製品だ。結果として、それぞれの特徴に合わせて搭載されている生成AI機能もまた異なっている。

Photoshopでは「生成塗りつぶし」や「生成拡張」が搭載される。さらに新たに「テキストから画像生成」「参照画像」「背景を生成」といった生成AI機能が7月になって追加されている。

新たに搭載された「生成拡張」とは、元画像をベースに画像をさらに広げて周辺を生成する機能だ。それに対して、生成塗りつぶしやテキストから画像生成などは、文字通り「存在しないものを生み出す」機能で、0から1を生み出すものという位置づけになっている。

一方Lightroomを見てみると、現時点で搭載されているのは「生成AI削除」（早期アクセス版）だけ。AI機能としては「ぼかし（レンズ）」も搭載しているが、生成AIを使っているのは削除機能だけだ。

Adobeの製品に搭載された生成AIの機能。これは順次増えたり正式版になったりしているので網羅されているわけではないが、PhotoshopとLightroomでは搭載されている機能が異なっている

Lightroomに搭載された生成AI削除は、これまでもLightroomの「修復ツール」内の「削除」（コンテンツに応じた削除）に追加される形になっている。このコンテンツに応じた削除機能は、写真の中で削除したいオブジェクトを選択するとそれを消去してくれる、というもの。空の電線だったり、観光地の他の観光客だったり、写真内の様々な構成物のうち余計だと感じるものを消し去るのに役立つ機能だった。

「生成AI削除」の機能紹介

例えばこの写真の左の人物を消したい場合、大雑把に人を選んで生成AI削除をすれば、うまくいけば一発できれいに除去できる

生成AI削除の場合、オブジェクトを削除した後にどのように背景と一体化させるか、という部分で生成AIを使う。通常、削除するオブジェクトの背後にあるものは隠されているので実際には何が隠れているのか分からない。そこで従来の削除機能では、周辺の情報（コンテンツ）に応じて背景を埋めていた。

コンテンツに応じた削除の例。周囲の情報から塗りつぶすため、シーンによっては大きな違和感が出てしまう

生成AI削除だと、違和感のない形で削除できている

そのため、例えば背景が白地のみだったり、タイル張りのような一定のデザインだったり、草原のようなごまかしのききやすい背景だときれいに消去できていたが、ランダムな背景だと途端に破綻してしまっていた。

少し角度が異なってしまっているが、同じ場所の写真を見比べれば、全く同じものになっていないのが分かる

生成AIの場合は背景をゼロから生成するため、どんな背景でも（うまくいけば）自然に見せるように生成してくれる。生成AIなので、その場に存在しなかった新たなオブジェクトを生成することもあるが、従来の削除に比べてかなり精度は高い（というより、よりそれっぽく見える）。

こちらも一見するとほとんど違和感がない

拡大して見ると事実とは異なる写真となっていた（右が実際の写真）

具体的な動作は写真次第でもあるだろうが、ベースの写真を元に既存の写真の学習データから推定してなるべく自然になるような画像を生成する形だろう。観光地でよく写真を撮られる場所のように、似たような写真を多く学習していれば背景の生成は精度が向上する可能性はあるようだが、逆に存在しなかった人や物体が生成される場合もあって、一筋縄ではいかない。

人を削除しているのだが、元々どこに人がいたか分かるだろうか

削除前の写真（モザイクは入れている）

あくまで生成AIによる生成なので、実際に同じ場所で別のタイミングで写した写真と比べてまったく一緒になることはない。あくまで「それっぽい」写真になるだけだ。Adobeによれば「ピクセル単位で生成する」とのことで、従来のコンテンツに応じた削除よりもつなぎ目に違和感がない場合も多いようだ。

Lightroom Classicにおける生成AI削除のUI。「削除」機能から「生成AI」を選び、大雑把にオブジェクトを選択する。「オブジェクト認識」がオンになっていればある程度適切に選択してくれる

オブジェクト選択されたところ。「マスク調整」でマスクを増やしたり消したりもできる。あとは「適用」を押すだけ

実際に消去されたところ。「バリエーション」の矢印で他の候補と切り替えられる。「更新」を押せばまた生成が行われる

Adobe側も、従来のコンテンツに応じた削除でできなかったことを生成AI削除で実現しようとしたとしており、コンテンツに応じた削除の機能向上版という位置づけのようだ。

これは元の写真

なぜかオブジェクトが新たに現れることもある。地面の影を選択して生成AI削除を選ぶときちんと消えることから、影が残った状態だと影が不自然にならないように生成したのではないかと思われた

これは影を選択して実行したところ

ざっくりとした選択をするだけでオブジェクトを検出してくれて、そのまま生成AIで削除できるため、使い方も簡単。さらにPC版のLightroom ClassicやLightroomデスクトップ版だけでなく、モバイル版、Web版でも使えるという点も強みだ。

これは、生成AI削除がネットワーク経由で機能を実行しているから。そのため、処理の重い部分はオンラインで実行し、その結果を適用することで、モバイル端末でも同等の機能を実現する。ただ、雑にオブジェクトを選択しても自動で検出するオブジェクト認識はモバイル環境では非対応となっている。

従来のコンテンツに応じた削除は、ネットワークのない環境では現在でも有効だし、比較的スピーディに動作する。一定の同じ背景であれば生成AI削除を使わなくても高精度の削除はできる。

Adobe側ではそうした使い分けを想定しているとのことだが、あくまで生成AIを「コンテンツに応じた削除」の1機能として提供しているという点がポイントだ。

PhotoshopとLightroomにおける生成AIの違い

Lightroomの生成AI削除に対して、Photoshopに搭載された「テキストから画像生成」は、撮影していない画像をゼロから生み出す機能であり、写真とはまた異なる世界ではある。そうしたことからAdobeは、Lightroomではまず生成AI削除を搭載。ユーザーからのフィードバックを得て、どのような生成AIが求められているかを判断したい考えだという。

「写真はカメラで撮影するもの」ではあるが、フィルム時代から現像時やプリント時に色味を変えたり明るさを変えたり、といった調整は行われていた。デジタル時代になってそれがさらに進化して、より高度な露出補正やホワイトバランスの調整、ノイズリダクションといった技術が使われるようになっていて、撮影後の処理も含めて「写真」といえる。

そしてコンテンツに応じた削除が登場し、写真内の余計なものを削除できるようになった。生成AI削除は、このコンテンツに応じる部分を生成AIで代替するという機能のため、従来と機能の目的に違いはない。

Adobeによれば「コンテンツに応じた削除」機能はLightroomの中でも人気の機能だったという。今回はあくまでその1つという位置づけの生成AI削除は、Lightroomユーザーにも許容されるとAdobeは判断。Photoshopに搭載されている「テキストから画像生成」がLightroomに搭載されていないのは、逆にLightroomユーザーがこうした機能を求めているか、それを今後は調べていく機会と考えているようだ。

「写真に写ったものを消して背景を生成する」という処理は、あくまで「生成AIがそれっぽい背景を生成している」という動作だ。消そうとしているオブジェクトの周囲に写ったものや、学習した画像データから推測して背景が生成されるため、決して完璧な修正にはならないが、従来のコンテンツに応じた削除に比べると精度は高くなっているようだ。

「観光地で家族の記念写真を撮って、写り込んだ他人を削除したい」という場合に生成AI削除を使うことで、思い出をきれいに残せる、というのはメリットだ。もちろん、その時周囲にたくさんの人がいた事実を残すために写ったものを消さない、というのも大事な思い出の1つではある。

そこに新たに「存在しなかったものを生成AIで追加する」「縦位置で撮影したけど横位置で撮影したかのように背景を生成AIで拡張する」といった画像が、果たして「思い出の写真」と言えるのか、というと難しいところだろう。

Photoshopの画像生成機能。細かく色々な条件を指定すると希望の写真が生成されやすい

自撮り風の写真を生成したところ

さらに生成拡張で写真の範囲を広げてみた

実際に生成された写真

生成AIが実際にLightroomやPhotoshopに組み込まれたことで、「写真」のあり方が改めて問われている。今後、さらに生成AIが進化したら、「エッフェル塔の前でポーズを取る家族の写真を生成して」というプロンプトで、自分の家族の写真が生成されるかもしれない。むしろカメラ自体が撮影時に自動的に生成削除や画像生成をするようになるかもしれない。

とはいえ、例えば事件／事故の現場など報道写真では生成AIは許されない。事件現場の写真で生成AIが使われていたら（たとえ生成削除であっても）問題となるだろう。

将来的に撮影手法が変わったとしても、生成AIが報道写真を生成することは許されないと考えられるが、未来では人間が誰も現場にいないバーチャル空間に人々が集うので報道写真という概念がなくなっているかもしれない。

近い未来では、グラビアや広告写真などの世界で、生成AIによるモデルや背景などの生成が広がっていく可能性は高いだろう。それが一般的な世界になれば、Lightroomにも「テキストから画像生成」が搭載されるのかもしれない。

生成AIが写真を変えることで、世の中の写真に対する考え方はまた、大きく変わっていくことになる。「写真とは何か」という古くて新しい問いかけを考えていく必要があるだろう。

取材協力：アドビ株式会社