東京工科大学 メディア学部 ブログ

メディア学部の大淵です。

2月24日(土)に渋東シネタワーで開催された「しぶやでこうか」で、私の研究室から3件の発表を行いました。今日はその中から、馬上優太さんの「３次元空間中の音の自動判別とVR技術による可視化」というテーマをご紹介します。

音による情報は、注意をしていなくても気付くというメリットがある一方、一瞬で消えてしまって後に残らない(専門用語で揮発性といいます)というデメリットがあります。そこでこの研究では、音の情報を目で見えるように変換することを試みました。つい聞き逃した情報を映像として見られるだけでなく、聴覚にハンディキャップのある人にも役に立つ研究です。

音がどちらから来ているかを自動検知するために、複数のマイクを並べたマイクロフォンアレイと呼ばれる装置を使用します。それぞれのマイクに音が到達するタイミングのずれを利用して、音源の方向を推定するのです。ここでは、HARKというオープンソースソフトウェアを活用しました。そして音源の方向がわかったら、それをヴァーチャルリアリティ(VR)の3次元空間中に画像として表示します。VRの実現には、Unityというゲームエンジンを使いました。そして、開発した機能をわかりやすく実演するために考えたアプリケーションが…

VRスイカ割り!

二人一組でプレイするゲームで、一人はVR空間中に現れたスイカの場所を声で伝え、もう一人はそれを聞いてマイクロフォンアレイの周囲で手を叩くというものです。スイカの場所でちゃんと手を叩くと、VRの中でスイカが割れて得点できます。発表では、会場にVRシステムを設営し、実際にVRスイカ割りを体験してもらいました。(スクリーンに映っているのはVR空間の映像ですが、これは本来はVR担当のプレイヤーにしか見えません)

発表では、なかなかスイカが割れずハラハラする場面もありましたが、会場の皆さんには楽しんでいただけたのではないかと思います。やはり実演があると盛り上がりますね。