東京工科大学 メディア学部 ブログ

　今月開催された情報処理学会第84回全国大会で卒研生の原田風磨くんが発表した「遠隔会議における視線一致手法」の研究を紹介します。
　
　遠隔会議で話す場合、相手の画面にちゃんと相手を見て話しているように映ること（視線一致）はよい印象を与えます。ただ、カメラを見ながら話すのはなかなか難しいです。ついPC画面を見がちになり、相手の画面にはうつむき加減の自分の顔が映ってしまいます。視線一致はできていません。今回の研究は、ノートPC内臓カメラをそのまま利用しながらなるべく簡単に視線一致を実現しようという研究です。
　
　すでに世の中では画像処理で撮影画像の両目の部分だけを合成する方法が使われています。ソフトウェアだけで処理するきわめて手軽な方法で、Apple, Microsoftなどの錚々たる企業がこの技術を提供しています。しかし、常に自然な処理ができるとは限りません。ときどきは不自然な目が合成されてしまいます。
　
　遠隔会議をそれなりの時間続ければ目だけ合成していることが露呈します。見苦しいだけでなく、相手によってはとても悪い印象を与える危険性があります。つまり、対話の際にもっとも重要な目の画像をいつもフェイクにするなんてとんでもない、と思ってしまう危険性です。
　
　そこで今回の卒業研究では、画像処理は使わずに光学的な方法つまり鏡を使った方法を考案しました。記者会見などで使われるいわゆるテレプロンプターと同じ原理ですが、ノートPCに取り付けて内臓カメラをそのまま利用する装置です。
　
　二枚の鏡を使います。ノートPCの画面の前に置く「対人鏡」はハーフミラーになっていて使用者が画面を見ることができます。対人鏡に反射された使用者の顔はカメラレンズの前に置いた小さな「集約鏡」でさらに反射されカメラに映るという仕組みです。使用者が画面を見ると光学的にはカメラレンズを見ているのと同じになるはずです。
　
　今回の研究ではシミュレーションでそのような二枚の鏡で視線一致ができるかの検証に留まり、実際の装置製作は継続研究課題となります。シミュレーションによる検証結果は、確かに使用者の視線がカメラレンズに向かい視線一致が実現できることがわかりました。
　
　今後の課題はいろいろありますが、何とか実物を完成させたいです。ノートPCに簡単に取り付けられる製品として量産できれば面白いと思います。
　
参考文献：原田, 柿本, 戀津, 「遠隔会議における光学的視線一致手法」, 情報処理学会第84回全国大会, 学生セッション1ZG-02, 2022年3月.
　
メディア学部　柿本正憲