富士フイルムに訊くペット検出機能の今

　2010年春モデルのデジタルカメラで、富士フイルム、ペンタックス、リコーが相次いで「ペット検出機能」を実用化した。各社とも、ペットの顔を検出することでピントなどをペットに合わせることが可能だ。今回は、「FinePix F80EXR」、「FinePix Z700」にペット検出機能を搭載した富士フイルムに話を伺った。（聞き手：小倉雄一）

　インタビューに答えていただいたのは、富士フイルム電子映像事業部 商品部の神前秀介氏と富士フイルムR&D統括本部 電子映像商品開発センターの林大輔氏の2名。神前氏が商品企画を、林氏がペット検出機能の開発をそれぞれ担当した。

富士フイルム電子映像事業部 商品部の神前秀介氏（右）と富士フイルムR&D統括本部 電子映像商品開発センターの林大輔氏（左）	インタビューは富士フイルムが入る東京ミッドタウンで行なった

　なお、各メーカーのペット検出機能搭載モデルにおける実際の撮影の様子は、「春モデル3機種の「ペット検出機能」を試す」を参照いただきたい。

■2年前から進めていたペット検出

――今回、初めて搭載されたペット検出機能ですが、開発はいつごろからスタートしたのでしょうか?

林：富士フイルムでは2006年に人間の顔検出機能を初めて製品化しました。当時からイヌやネコなどのペット検出はできないのかという意見をユーザーの方々からいただいていたのですが、本格的にペット検出の製品化を意識し始めたのは2年ほど前からですね。

――人間の顔検出を製品化して、その進歩発展とともにペット検出も実現したということでしょうか。

林：そうですね。各社さんが人間の顔検出を当たり前のように搭載してきましたし、ペット検出を望むユーザーの声をいただいて、というカタチで開発を始めました。

――ではペット検出は、顔検出を発展させたものと考えてよろしいのでしょうか。

林：そうですね。顔検出の技術がなければ、今回のペット検出もなかったですね。顔検出で培ったものは、かなり大きいですね。

――ペット検出の開発意図をお聞かせください。

林：ペット検出の開発をスタートさせるにあたり、ペット関連市場をいろいろ調べたのですが、市場規模もかなり大きくて、日本だと1兆円くらい、アメリカだと4兆円くらいの規模なんですね。それも、この不況にもかかわらず、まったく衰えていない。さらに、日本では少子高齢化が進み、今後ペットも家族の一員として捉えられるようになってくるだろうと。そのような意図で開発を始めました。

神前：もうひとつは、ペットはもともと主要な被写体のひとつでありまして、富士フイルムとしては、フィルムの時代からペット写真に対していろいろ取り組んできました。たとえばペットのイベントの協賛をしてペット写真を楽しんでいただいたり。富士フイルムのFotonoma（フォトノマ）という写真サイトでも、写真の撮り方の解説ページで、ペット写真の撮り方を紹介したり、ペット写真の楽しみ方を提案したりしているんです。ペット写真をフォトブックにしましょうとか、マグカップにしておうちで使いましょうとか。そういう背景がもともとあって、ペット撮影への要望が非常に高いというのは富士フイルムとして認識があったんですね。

――ペット検出技術の概要を教えてください。

林：基本的には人間の顔検出と同じなのですが、今回、シーンポジションにイヌモードとネコモードというふたつのモードを入れました。カメラをイヌあるいはネコに向けると最大10匹まで検出します。検出すると枠が出て、撮影するときに自動でフォーカスを合わせて撮るという機能です。特徴的なところでは、オートシャッターという機能を入れました。これはセルフタイマーモードに入っているのですが、オートシャッターモードに入れて、イヌとかネコにカメラを向けると正面を向いたときに自動でシャッターを切るという機能です。再生系では、イヌやネコのモードで撮った写真をサーチできる「ピクチャーサーチ」という機能も入っています。

――人間の顔検出とはどのくらい違うのでしょうか。

林：イヌやネコは結構顔のバリエーションが広いので、なかなか難しいところはありますが、基本的には人間の顔検出と同じといって良いと思います。

富士フイルムのペット検出機能搭載モデル。左からFinePix F80EXRとFinePix Z700EXR

■色ではなく濃淡差でペット検出を行なう

――ペット検出は、どのようにペットの顔を検出するのでしょうか。

林：ペットの顔の中の“色”はまったく見ていなくて、顔の中の濃淡差（コントラスト）だけを見て判別しています。

――検出スピードは人間の顔検出と同じというお話ですが、それは自然にそうなるのですか?

林：同じになるようにしています。ペット検出に関しては、ユーザーさんが思っている以上に速いと思います。

――イヌとネコの検出を分けたのはなぜでしょうか。

林：イヌとネコを一緒に撮るシーンってそんなにないのではないかなというのがあります。Webサイトなどを見ていても、あまり見かけないですね。ただペットと人を同時に撮るシーンはけっこうあると思うので、今後考えていかないといけないと思っています。

神前：いまは人、イヌ、ネコが全部別々のモードになっています。

――なるほど、イヌのポジションに入れたら人のことは無視するということですね。ペットと人間を同時に検出するのは難しいことなんですか。

林：技術的にはちょっと大変ですが、将来的には十分可能だと思います。

――内部処理が完全に分かれているのですか。

林：そうですね。いまは内部処理を切替えています。

神前：ペット検出機能はまだ搭載しはじめの段階でもあります。人の顔検出も、最初は正面顔だけだったのが、横顔、斜め顔が検出できるようになり、今は顔の個人認識までできるようになっています。やはり時期を経て技術的には上がってくるもので。今回われわれはペット検出の第一歩として、排他的なカタチで入れていますが、今後、技術的に向上していけばペットと人の同時検出を狙っていきたいと考えています。

――十分可能であると。

神前：そうですね。……というのを、製品企画のほうから開発のほうに要望をしているところです。

林：シーンポジションにいちいち入れるというのはわずらわしいですものね。

――確かに。なるべくユーザーに意識させないで、撮りたいモノを撮りたいときに、ピントが合うというのが理想ですね。以前、人の顔検出は専用LSIで画像処理を行なっているというお話をされていましたが、ペット検出も同様でしょうか?

林：はい。画像処理LSIでやっています。

■検出が苦手なペットの種類とは?

――イヌ、ネコで、苦手な種類というのはあるのでしょうか?

林：ありますね、残念ながら。

――具体的には?

林：イヌの場合、ブルドッグやパグなど、ちょっと鼻ペチャなのとか、毛がモサモサで目や鼻が隠れちゃってるような、人間が見ても、そこだけアップにすると、なんなのかわからないような犬種は苦手ですね。

神前：あとは真っ黒な毛の犬種ですね。顔の中に濃淡差がないので、目とか鼻とかがわからないんですね。

林：真っ黒で目だけが光ってるような犬種は、ちょっと難しいですね。顔の中にある程度コントラストがないと厳しいので。クロネコでも、薄い黒のネコなら大丈夫なのですが、本当に真っ黒で顔の中に濃淡差が全然ないような種類は苦手ですね。

林：真っ黒なイヌやネコって、人間が見ても顔の中のカタチがよくわからなかったりしますよね。

――逆にイヌらしいイヌ、たとえば柴犬などはどうでしょう。

林：はい。見るからにイヌ、っていうのは、バチッと検出できます。

――日本犬はいいんですね。

林：得意中の得意ですね。

――検出しづらいシチュエーションですが、撮影場所、時間帯、光線の具合なども関係があるのですか。

林：そうですね。あえて言えば、強い逆光などでしょうか。

神前：あとは真っ暗な場合。人間でも顔検出が効かないくらいに暗いところだと、難しいですね。

■人気のある犬種から検出しやすいように開発

ペット検出の画面。検出すると緑のフレームが現れる

――話は戻りますが、ペット検出は、目や鼻、顔の輪郭で検出しているのではないのですね。

林：全体で顔っぽいものを見てるというのが、合ってますね。犬種を認定しているFCIという国際団体があるのですが、イヌだと300数十種類ありまして、それは全部、検出できるかどうかチェックしました。実物で確認できないものは、写真、ウェブ、図鑑も含めてですね。日本で一般的に飼われているイヌ、ショーで見かけるイヌは実物でチェックできるのですが、日本には滅多にいない犬種も多いのです。海外にしかいない猟犬なども全部チェックしました。

――イヌって世界中に300種類しかいないんですね。

林：FCIで認定されている純血種が、その数字ですね。ネコについてはCFAという団体では100種類も登録されていなくて、雑種がかなり多いようです。

――イヌのほうが顔の変化というかバリエーションが多いですよね。イヌのほうが検出に時間がかかることはあるんですか。

林：とくに時間がかかるということはないですね。

神前：ハードウェアでやってしまうと一瞬なのです。

林：イヌのほうが種類が多いので、すべてに対応できるわけではなく、やはり人気のある犬種から優先して検出していくという方針で開発を進めました。ちなみに日本だとチワワ、プードル、ダックスフントで、血統書登録されているイヌのうち、50％以上を占めているんですよ。

――小さい犬種ですね。

林：そうですね。日本ではやはり小型犬が人気です。3犬種で50％ですからね。

――柴犬などではないんですね。

林：柴犬もけっこう上位でしたよ。

――イヌやネコのぬいぐるみも検出しますか?

林：リアルなぬいぐるみであれば、検出してしまうこともあります。

神前：やはりデフォルメされてしまうと、難しいですね。

――では、イラストはどうでしょう?。

林：これは裏話なのですが、開発の初めのころは、検出の精度がそれほど高くなかったので、同じ部署のメンバーみんなでイヌやネコの絵を描いて、どれが検出できるとかできないとか、ずいぶんやりましたね。はじめのうちは、へんてこなイラストでも検出できてしまったりというのがありました。

――イラストが検出できてしまうのはダメなのですか?

林：ものすごく実物に近いイラストならいいのかもしれませんが、開発初期の頃は全然イヌっぽくないイラストも検出できてしまってまだまだ甘かったですね。

――このイラストが検出できるんだったら、製品化はまだまだダメだ、といった具合ですか。

林：そうなんです。どうしても検出できてしまうイラストを壁に張り出して、うーん、なんでこれ検出できるんだろう、たしかにイヌっぽいな、と。

「イヌネコ以外を検出しないようにするのに苦労しました」（林氏）

――それは線画ですか?

林：本当に単純な、線画ですよ。

神前：その段階を克服して、製品では、ある程度リアルなイラスト以外は検出しないようになっています。

林：ここは製品を買われた方にいろいろチャレンジしていただいて、楽しんでいただきたいところですね。

――ペットの寝顔は検出OKですか?

林：寝顔も正面顔なら大丈夫です。横顔だとちょっと厳しいですけどね。

――今後、ペットの個別認識は可能でしょうか。

林：将来的には可能だと思います。ただ、チワワとダックスフントを見分けるのはできると思うのですが、うちのダックスフントと、となりの家のダックスフントを見分けるのはちょっと難しいかなと。

林：あと、正面を向かせて登録するタイプだと手間がかかるので、どんなイヌやネコにも対応していて、すぐ撮れるほうがいいかなと。いまのままでも十分というふうにも思っています（注：富士フイルムはペットをあらかじめ登録しておく方式は採用していない）。

――富士フイルムさんらしいですよね。ひとりでも多くのユーザーに、なるべく手軽に楽しんでもらおうという。

林：手軽にというのは、キーワードとしてありますね。

神前：基本はなるべく自動で、登録や手間のかかる動作をしなくてもカメラを向ければOKという方向を狙っています。ペットの個別認識については、これから技術的なところももちろんありますし、あとはユーザーの要望がどれくらいあるかというところですね。

■ペットの顔が上下逆さまでも検出可能

――カタログには360度検出可能とあります。ペットの顔が上下逆さまになった場合でも検出可能ということですか?

神前：ペットを撮るときに、正対して撮ることが多いのは確かなのですが、ペットがソファで寝ているところを撮るシーンなどもよくあります。そうすると、ペットの顔が逆さまになったりというケースも写真としては少なくないですからね。

――ちなみに、360度検出できるのはスペックに謳うほど素晴らしいことなんですか。

神前：わかりやすいですよね。インパクトがあるというか……。

――では、横顔や斜め顔の検出は難しいのでしょうか。

林：横顔でも両目が見えているくらいだったら、なんとか粘ります。完全な真横というのは、まだちょっと難しい。

――どのように検出のテストされているのですか? ご自宅にイヌとネコを50匹ずつくらい飼われていて……。

林：いやいや、ネコカフェに行ったりですとか……。いま開発は仙台のほうなので、近くにネコ島（注：田代島）があります。それから動画を撮ってきて、あとでモニターに映し出して検証したりもします。

神前：いろんなイヌが集まるイベントに行って撮ったり。これは一発でいろんなイヌの検出テストができるので。もちろん商品企画や営業など、ペットを飼っている人にテストをしてもらったり。そういうことをいろいろ社内でやっています。

――開発の現場は、もっとスマートなのかと思っていましたが、意外に人海戦術に近いんですね。

林：ちなみに私、ネコアレルギーなんですよ。

――ええっ!?

林：耳鼻科に行って血液検査をしてもらったら、ネコアレルギーがちょっとありますと。ネコが1匹いるだけならよいのですが、ネコカフェとか閉じられた空間に20匹も30匹もいると、クシャミが止まらなくなって。

――ペット検出の開発でネコアレルギーになったというわけではない?

林：はい、たぶん違うと思います。

■ペットオートシャッターは連写がオススメ

ペットオートシャッターモード

――検出したペットが正面を向くと自動的にシャッターが切れる「ペットオートシャッター」の搭載理由を教えてください。

林：Webでかなりたくさんペット写真を検索したのですが、やはり正面顔というのが圧倒的に多いんですね。とくに小型犬に関しては、正面顔をウェブにアップされている方が多いく、要望が大きいというのを感じていました。イヌやネコはいろんな方向を向いてしまうので、正面を向いたときに自動でシャッターが切れて正面顔が撮れる機能があったらいいと考えて、今回搭載しました。

――これはたとえば、イヌやネコとじゃれながら片手でカメラを持ってという使い方もできそうですね。

林：そうですね。あるいは机の上にカメラを置いてもらって、ペットと遊びながら、というのもいいと思います。

――ペットに正面を向かせるのは一苦労かもしれませんね。

林：オートシャッターでは連写設定ができます。検出すればペットが動いても連写してくれるので、より撮影しやすくなると考えました。こちらの設定がオススメですね。

――再生時、ペット写真を検索できる機能があるそうですね。

林：「ピクチャーサーチ」機能ですね。今回のFinePix Z700EXRなどで売りの機能として搭載していますので、そこにペット検出も入れたいと考えました。

神前：人の顔だとカップルの写真や集合写真、個人登録されていれば登録した人の写真も検索できます。あとはシーンで風景や夜景を検索したり。イヌやネコの写真も検索できます。

林：もともと富士フイルムのオススメとしてピクチャーサーチ機能を入れています。FinePix F80EXRとFinePix Z700EXRではペット検出機能がつきましたので、ペット写真も検索できたら便利だろうと考えました。

新機能の「ピクチャーサーチ」機能で、ペットの写真のみの表示も可能

神前：いま2GB、4GBという大容量のメモリーカードが安くなって、8GBのメモリーカードを使うとFinePix Z700EXRで2,500枚くらい撮れるんですよね。お客さまのなかにはメモリーカードに撮影した画像データを入れっぱなしという方が増えていまして、そうすると画像を検索するのが非常に大変になります。あの写真はどこにいったかなとボタンを押して探すのも大変で、画像を探しやすくするために、検索機能を強化しようというのがポイントなのです。2010年に富士フイルムが発売したすべてのカメラにはピクチャーサーチ機能を入れておりまして、イチ押しの機能です。

林：画像を順に再生する場合、人に見せたくない写真もあるでしょう。ですから、再生をペット画像だけに絞れると可愛いイヌやネコの写真だけを見せてあげられますよね。

――なるほど、……ということは、シーンモードで撮ってないイヌやネコの写真は、検索できないわけですね。

神前：そうですね。シーンモードでペット検出を使って撮ったものだけが検索対象です。人物、マクロ、風景などについては、EXRオートで撮影すれば自動的にシーン認識され、情報が記録されるのですが、ペット検出に関してはイヌモードとネコモードがシーンポジションに入っていますので、ユーザーが設定しないと再生時の検索には対応しないですね。

――でも林さんの頑張りで、次の段階では……。

林：ペット検出もEXRオートでOKというのが、もちろん理想ですよね。

神前：そうなると、再生時の検索も全部オートでいけますね。

■イヌやネコ以外のペットの要望は?

――イヌやネコ以外のペット検出は、今後どうなのでしょうか。ユーザーからの要望も含めて、実現可能性は?

林：ユーザーの需要しだいかなと思っています。先日デジカメWatchさんでペット検出機能はあったら使うかというアンケートをされていましたが、興味深い結果が出ていました。日本でイヌやネコを飼っている世帯って30％くらいなんですよ。イヌが約20％、ネコが約10％。今回のアンケート結果も30％くらいの人が使ってみたいという回答だったので、けっこういい結果かなと個人的には思いました。デジカメWatchさんはカメラ好きな方々が見ていると思うので、そういう方のなかで30％は結構大きいかなと思いましたね。

――次なる要望としては、どんなペットが検出できるようになるのでしょうか?

林：飼育率でいえば、イヌとネコがトップ2で、その次が金魚。ユーザーが金魚を検出したいかどうかは別ですが……。

――金魚は開発のスケジュールには……?

林：今のところ入っていないですね。金魚の写真ってWebでもあまり見かけないですよね。

神前：あまり自分で飼われている金魚を撮るというのは……。水族館を撮るとか、そういうのはあるかもしれないですが。

――どうしてなんでしょうね。

林：呼んでもこないから、でしょうか。

――距離感が違うんですね、イヌやネコと。

林：ダイビングは需要があるのかもしれないですね。ダイビングして、海中の熱帯魚を検出するといった。

――すみません、家畜系はダメですか。牛とか馬とか鶏とか、あるいは小鳥とかハムスターとか。

林：やればできるとは思うのですが、その辺りもちょっと調査不足で。そういう需要があれば、ぜひ……。

――今回、ペット検出の搭載はFinePix F80とFinePix Z700の2機種ですが、この2機種に搭載した理由というのはなんですか。

神前：タイミング的に、まずこの2機種からスタートという感じですね。コンパクトでスナップで使われるカメラで、なおかつ富士フイルムの製品では比較的上位の機種です。今後、搭載機種は着実に増やしていきます。

「ペット検出は市場で好評を頂いています」（神前氏）

――ユーザーの反応は、すでにフィードバックされていますか。

神前：まとまったカタチではないですが、少なくとも展示会などでは、好評をいただいています。やはりペットを飼われている方には、かなり響く機能なのかなと思っています。

――ユーザーからの声で意外だったことは?

林：そうですね、ウサギは検出できないのかという声が、ユーザーの方から何件かあったようです。

神前：ウサンポマニアからですね。

――ウサギに対する愛って、すごいですよね。

神前：すごいです。ウサギはいいかもしれないですね。ウサギとハムスターは、かなり愛着度が高そうですね。ウサギに首輪を付けて、イヌみたいにウサギといっしょに公園とかをウサンポするって、流行ってるライフスタイルらしいですよ。若い人のあいだで。

■ペット検出の露出へのフィードバックは無し

――ペット検出の結果を、露出にはフィードバックさせているのでしょうか?

林：それはやっていないですね。明るさもそうですが、ホワイトバランスも難しいんですね。人間だったら肌色というのはわかっているので大丈夫なのですが、たとえば黒犬だと逆光と勘違いしてしまったりするので。

神前：イヌやネコは色のバリエーションがかなりあるうえ、人間よりも濃淡が大きいので、たとえば真っ白なネコだったりすると、たとえば露出が暗くなってしまう、アンダーに出てしまうという副作用も出てきてしまうんですね。

林：黒のネコだったら背景が完全に飛んでしまったりとか。

神前：カメラがそのネコのもともとの色を知らないからです。

――ちなみに、ネコ科のライオンやトラは、検出できそうですけど、ダメなのでしょうか。

林：ちょっと試してないですね……。

神前：もしかすると、ライオンやトラの子どもはかなりネコっぽいので可能かもしれません。

――イヌ科のタヌキやキツネは?

林：それもまだ試していませんね。

――ペット検出を搭載した2機種は世界中で売られるんですよね。

神前：はい。

――地球の裏側のユーザーから思いがけないエピソードが届いたりというのも楽しみですよね。

神前：そうですね。国によって飼われているペットも違いますし、カメラや写真の楽しみ方もけっこう違いますので。どういうふうな反応が返ってくるかは楽しみですね。

林：アメリカだと大型犬のラブラドール・レトリーバーがいちばん人気ですし……。

神前：飼われてる頭数でいくと、日本の比ではないくらい多いようですね。

――ペット検出の自動学習機能についてはいかがでしょうか。今後、自分のよく撮るペットを検出しやすくなるといったことは可能ですか。

林：それはあったらいいですね。いまは入っていませんが……。

神前：FinePix Z700EXRに入っている人間の個人認識機能は学習するようになっています。撮れば撮るだけ精度が上がるんですよ。

――ペット検出の動画対応については?

林：動画はいまのところ対応していないですね。

神前：FinePix F80EXRの方は動画撮影中の人間の顔検出は入っています。

林：これから考えていきたいところですね。ペットを動画で撮りたいというユーザーがたくさんいらっしゃれば、ペットにフォーカスを合わせて、動画撮影中も追従するというのも考えられると思います。

――ペット検出機能の新型デジタル一眼レフカメラへの搭載については?

神前：今のところ、全くの未定状態ですね。富士フイルムとしては、いろいろ検討はしていますが。

――ペンタックスとリコーも、ほぼ同じタイミングでペット検出機能を搭載したデジタルカメラを出しましたが、これはなにか関係があるのですか。

林：われわれもビックリしてますが、まったくの偶然です。

神前：使っていただければ、当社の機能は全く違うものでというのはわかっていただけると思います。完全に独自機能なので、たまたま他社とタイミングがいっしょになっただけですね。

――今後の搭載機種の予定は?

神前：そうですね。基本的には搭載機種は増やしていく方針です。

――ペット検出機能が追加されたから、いきなり製品の値段が極端に上がるということもないですね。

神前：今回、画像処理のLSIが新しい世代になって、ペット検出の機能が搭載されました。ですので今後、新世代のLSIを搭載する機種であれば、基本的にペット検出の搭載が可能になってきます。