東京工科大学 メディア学部 ブログ

音について研究を行っている大淵・越智研究室では、学生自身が企画した、研究等の紹介と意見交換の会が毎週開かれていて、研究のアイデアが活発に出てくる場になっています。

二年半前に大学院生（当時、昨年大学院修了）の大谷君により「知の発見」と名付けられて開始し、調査した論文、イベントや学会参加、新しい音響機器など、おもしろいと思ったことを各自が持ち寄って共有しています。教員も参加することがありますが、学生主体で自由参加で開かれています。現在は、大学院生の松井君が大谷君を引き継ぎ、中心となって開催しています。

2年生でニコニコ学会βというイベントのボランティアスタッフをした大谷君は、初めて研究発表形式の講演を聞いてとても面白いと思ったそうです。研究に関心を持って大学院進学をするきっかけにもなったそうです。大谷君は、さらに、同じような会を自分もやってみたいと思いました。毎週開催できるように、参加者各自の研究報告に限定せずに、興味を持った国内外の研究論文を広く紹介する会にしようと企画しました。当時大淵研は新しい研究室だったので、自分たちが新しくて面白い文化を作ろうと思い立ったのです。その後、共有内容を論文に限定せずに広く興味を持ったイベント・技術・機器などに広げて現在の「知の発見」という形にして、今は10名前後の有志で毎週続く会になっています。

それでは、今までどんな内容が発表されたか、少し紹介していきます。

（１）論文紹介：ＡＩで好きな曲をダンスゲームにする　[1]

音楽に合わせてダンスをするゲーム(Dance Dance Revolution)のダンスステップの指示を、好きな曲から自動生成するという研究です。機械学習の手法である、再帰型ニューラルネットワーク(Reccurent Neural Network: RNN)や畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)などと、音響特徴量の分析を組み合わせています。音響特徴量とは、音楽中にどの周波数（高さに相当する物理量）の音がどの程度の強さで含まれているかなどです。既存の曲とそれに対するステップの指示の譜面のセットから機械学習を行って、未知の曲が与えられた時にもステップの指示を生成できるようにします。これは福永君の、キー音のあるリズムアクションゲームの自動生成の研究のアイデアの生まれるきっかけになりました。

（２）論文紹介：鳥の鳴き声の自動検出 [2]

この研究は、自然環境の中で録音したデータから鳥の鳴き声がいつ録音されたかを取り出すというもので、その技術の精度について世界中で競い合う大会が行われているということが「知の発見」で共有されました。環境や野生動物の観察のため、野山にカメラやマイクを設置して長時間映像と音声を記録するということは、実は世界中で行われています。そのとき大変になるのが、どの時刻に何が（例えば鳥が鳴いた、など）起こったかということを書きだすこと（アノテーション）です。長時間の録画・録音のため、人手で行うのには非常に手間がかかるので、自動的に鳥の声などを検出できるようになることは、上記の分野に大変に役立ちます。この研究紹介の共有は、昨年鳥の鳴き声の研究をしたS君の研究のヒントになりました。

 ちなみに、工科大では現在、上の写真のようなハクセキレイ（上）やツバメ（下）といったさまざまな鳥が見られます。夜は裏の森の中から「ホーホーホー」という鳴き声も聞こえますよ。工科大で鳥の声を録音してみても興味深い結果が観察されるかもしれませんね。

他にも楽しい研究紹介・イベント紹介があり、学生の新たな研究のアイデアに繋がったものがあるので、また次回に紹介したいと思います。

メディア技術コース　越智

参考文献：

[1] Donahue, C., Lipton, Z. C., & McAuley, J. (2017, August). Dance dance convolution. In Proceedings of the 34th International Conference on Machine Learning-Volume 70 (pp. 1039-1048). JMLR. org.

[2] Stowell, D., Wood, M., Stylianou, Y., & Glotin, H. (2016, September). Bird detection in audio: a survey and a challenge. In 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP) (pp. 1-6). IEEE.