東京工科大学 メディア学部 ブログ

メディア学部の伊藤謙一郎です。

私の研究室（ミュージック・アナリシス＆クリエイション）に所属の大学院１年生、田嶋水美さんが、3月8日(水)に学術総合センター内 一橋記念講堂で行われた、第27回 一般社団法人情報処理学会シンポジウム「INTERACTION2023」で研究発表を行いました。




田嶋さんは「学士・修士一貫早期修了プログラム」によって昨年9月に学部を卒業・大学院に入学しました。ピアノの演奏がとても上手で（サックスも演奏します）、楽器演奏とテクノロジーを組み合わせることで生まれる新たな表現に強い関心を持ち、学部の卒業研究ではそうした表現を実現するシステムの構築に取り組んできました。学内サークルでのバンド活動を通して、ライブ演奏における「演出」という面から、聴覚と視覚との関係性に着目したこともこの研究の一つの軸になっています。

このシステムでは電子ピアノの鍵盤を弾くと、打鍵の強さや音の高さをシステムが瞬時に読み取り、その情報をもとに映像が画面に描画されます。さらに、弾いた和音の種類によって、あらかじめマッピングされたオブジェクトやパーティクルがリアルタイムに映し出されるのも大きな特徴です。もちろん、このシステムを構築するためのプログラミングも田嶋さんが手がけています。




当日の発表ではデモに先立ち、一人30秒の持ち時間で研究概要の口頭説明が行われました。




その後、発表ブースに移動して、展示している実機のデモを行いながら来場者にデモを行いました。




田嶋さんは、学部時代を含めてこれまで幾つかの学会で研究発表を行ってきたのですが、このように対面でデモを見てもらい、実際にシステムに触れて来場者に体験してもらえたのは今回が初めての機会となりました。同じような境遇の発表者が多かったようで、会場は終始賑やかで、大きな熱気に包まれていました。




それでは、田嶋さんのコメントをご紹介しましょう。

今回私は『音楽要素のインタラクティブな視覚表現 〜電子ピアノ演奏に対するリアルタイムな映像生成〜』というテーマでインタラクティブ(デモ)発表を行いました。ブースに来ていただいた方に、実際にシステムを使ってもらい、その感想や研究の内容について議論しました。

学会自体の規模も大きく、多くの方にシステムを体験していただき、ありがたいことに「面白い」「楽しい」という言葉をたくさんもらいました。また、研究の方向性や今後の課題についても、様々な立場の方と意見を交わすことができました。ブースで説明していた約2時間半があっという間に感じるほど楽しかったです。とても有意義な時間でした。今回の発表を糧に、さらに研究を発展させていきたいです。

田嶋さんのブースは実機の体験待ちで常に人だかりができていて、体験した多くの来場者からさまざまな感想や有益なアドバイスがいただけたようです。

今後は、楽器演奏者と聴き手とを分けずに、観客一体型や観客自身がパフォーマンスの一部となるような新しい音楽表現の可能性も視野に研究を続けたいとのことです。さらなる機能向上を期待したいと思います。

（参考：過去の関連ブログ記事）
[2022.12.15] 音楽系研究室の大学院生の研究発表報告（第14回大学コンソーシアム八王子学生発表会）【４】田嶋水美さん


（メディア学部　伊藤謙一郎）