東京工科大学 メディア学部 ブログ

メディア学部の大淵です。

9月3日に開催された「ADADA Japan 学術大会」では、当研究室から2件の研究発表を行いました。その中から、堀内将生さんの「聴取者の感情を可視化する音楽プレーヤーの開発」という発表を紹介したいと思います。

この研究では、音楽プレーヤーで音楽を聴くときに、カメラを使って聞いている人の表情を撮影します。そしてその表情から推定された感情に合わせて、音楽プレーヤーのスキンを変更してやろうということを試みています。再生中の音楽を分析して、それに合わせてスキン映像が変化するプレーヤーは多数ありますが、聴いている人の感情の方に着目したところが特徴です。

この研究の肝となる「顔画像からの感情認識」のところは、Microsoft社の「Face API」という仕組みを活用することで、短期間での開発が可能となりました。一方、その結果を表示するところは自作です。再生中の音楽を分析し、そのリズムに合わせて画像を変化させることで、分析のリアルタイム感を感じられるようにしています。

今回のポスター発表では、実際にプロトタイプを使った実演も交えて説明を行いました。現時点では感情を色で表現するシンプルなデザインですが、今後さらにアイディアを膨らませて、ユニークな表現ができればと思っています。