技術

お料理音響実験その後と「今度は輪ゴム楽器」?!

2019年6月22日 (土) 投稿者: メディア技術コース

 昨年後期、大淵・越智研究室の講義先端メディアゼミナール「AIと音響分析」で、研究室で天ぷらを揚げてその音を分析するという、お料理音響実験を行いました。その結果は、3月の記事で報告があったように、学会(芸術科学フォーラム)で発表して見事受賞しました。その内容について、今回は紹介したいと思います。

天ぷらは、以下の図のように、揚げ始めと出来上がりで音が違うことが、経験的に言われていました。それを今回科学的に調べたのです。

Tempra_befores Shuwas Untitled1

Tempra_afters Pichis Untitled2

 

Tempra_comps

音は一定時間ごとに区切ったうえで、以前先端メディア学で行われたコイン当て実験のように、音の大きさや音色、高さに関係する物理量が抽出されます。それと答え(揚がったかどうか)をAIに学習させて、新しい音を入力したときに揚がったかどうか判別させます。

Tempra_ai

この研究は現在精度などを挙げるべくAIの改良中です。

Sentan2019_1_s

また、今学期は新しく、輪ゴムを弦に見立てた楽器の音の研究をしています。
Wagomus

羽田先生のアドバイスのもと、クギなどを使ってオリジナルの自動輪ゴム演奏機械が制作されました。

Wagomu_jidous

現在目下分析中です。天ぷらと一緒に発表があった鉛筆の筆記音の研究もそうですが、音の研究は本当に幅が広いですね。

メディア技術コース 越智

2019年6月22日 (土)

研究の種見つけた!:学生主体の情報交換の場「知の発見」

2019年6月21日 (金) 投稿者: メディア技術コース

Chino_hakken_005m_20190621205201音について研究を行っている大淵・越智研究室では、学生自身が企画した、研究等の紹介と意見交換の会が毎週開かれていて、研究のアイデアが活発に出てくる場になっています。

二年半前に大学院生(当時、昨年大学院修了)の大谷君により「知の発見」と名付けられて開始し、調査した論文、イベントや学会参加、新しい音響機器など、おもしろいと思ったことを各自が持ち寄って共有しています。教員も参加することがありますが、学生主体で自由参加で開かれています。現在は、大学院生の松井君が大谷君を引き継ぎ、中心となって開催しています。

2年生でニコニコ学会βというイベントのボランティアスタッフをした大谷君は、初めて研究発表形式の講演を聞いてとても面白いと思ったそうです。研究に関心を持って大学院進学をするきっかけにもなったそうです。大谷君は、さらに、同じような会を自分もやってみたいと思いました。毎週開催できるように、参加者各自の研究報告に限定せずに、興味を持った国内外の研究論文を広く紹介する会にしようと企画しました。当時大淵研は新しい研究室だったので、自分たちが新しくて面白い文化を作ろうと思い立ったのです。その後、共有内容を論文に限定せずに広く興味を持ったイベント・技術・機器などに広げて現在の「知の発見」という形にして、今は10名前後の有志で毎週続く会になっています。

それでは、今までどんな内容が発表されたか、少し紹介していきます。

(1)論文紹介:AIで好きな曲をダンスゲームにする [1]

音楽に合わせてダンスをするゲーム(Dance Dance Revolution)のダンスステップの指示を、好きな曲から自動生成するという研究です。機械学習の手法である、再帰型ニューラルネットワーク(Reccurent Neural Network: RNN)や畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)などと、音響特徴量の分析を組み合わせています。音響特徴量とは、音楽中にどの周波数(高さに相当する物理量)の音がどの程度の強さで含まれているかなどです。既存の曲とそれに対するステップの指示の譜面のセットから機械学習を行って、未知の曲が与えられた時にもステップの指示を生成できるようにします。これは福永君の、キー音のあるリズムアクションゲームの自動生成の研究のアイデアの生まれるきっかけになりました。

(2)論文紹介:鳥の鳴き声の自動検出 [2]

この研究は、自然環境の中で録音したデータから鳥の鳴き声がいつ録音されたかを取り出すというもので、その技術の精度について世界中で競い合う大会が行われているということが「知の発見」で共有されました。環境や野生動物の観察のため、野山にカメラやマイクを設置して長時間映像と音声を記録するということは、実は世界中で行われています。そのとき大変になるのが、どの時刻に何が(例えば鳥が鳴いた、など)起こったかということを書きだすこと(アノテーション)です。長時間の録画・録音のため、人手で行うのには非常に手間がかかるので、自動的に鳥の声などを検出できるようになることは、上記の分野に大変に役立ちます。この研究紹介の共有は、昨年鳥の鳴き声の研究をしたS君の研究のヒントになりました。

Sekireim

Tsubamem ちなみに、工科大では現在、上の写真のようなハクセキレイ(上)やツバメ(下)といったさまざまな鳥が見られます。夜は裏の森の中から「ホーホーホー」という鳴き声も聞こえますよ。工科大で鳥の声を録音してみても興味深い結果が観察されるかもしれませんね。

他にも楽しい研究紹介・イベント紹介があり、学生の新たな研究のアイデアに繋がったものがあるので、また次回に紹介したいと思います。

メディア技術コース 越智

参考文献:

[1] Donahue, C., Lipton, Z. C., & McAuley, J. (2017, August). Dance dance convolution. In Proceedings of the 34th International Conference on Machine Learning-Volume 70 (pp. 1039-1048). JMLR. org.

[2] Stowell, D., Wood, M., Stylianou, Y., & Glotin, H. (2016, September). Bird detection in audio: a survey and a challenge. In 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP) (pp. 1-6). IEEE.

2019年6月21日 (金)

タイのThammasat Universityの学生と教員がメディア学部を訪問

2019年6月10日 (月) 投稿者: メディアコンテンツコース

 
「Tokyo University of Technology Campus Tour and CG Industrial Visits」として、一週間学生のツアーを計画した先生方から、6月4日から7日まで本学の教員と学生らとの交流をしたいとの依頼がありました。
この記事では、メディア学部の紹介と先生方による研究紹介について紹介します。
 
13:00-13:20  
1. Introduction to School of Media Science, Graduate program 
   Prof.Masanori Kakimoto Dean School of Media Science
  片柳学園、大学、専門学校の紹介、メディア学部の概要紹介、さらには、メディアコンテンツコース、メディア技術コース、メディア社会コースの内容とその関係、さらには海外大学との交流への期待として大学院生獲得と共同研究について紹介されました。
 
Dsc_8491 Dsc_8493
Dsc_8507

続きを読む "タイのThammasat Universityの学生と教員がメディア学部を訪問"

2019年6月10日 (月)

メディア基礎演習 HCI

2019年5月17日 (金) 投稿者: media_staff

技術コースの羽田です.今日は2年生の演習についてのお話です.


HCI とは Human Computer Interaction の略で,人間とコンピュータの関係性を考える学問です.
とくにコンピュータのユーザインターフェースに関してはさまざまな研究がなされており,研究の中から新しいツールが生まれてきたりしています.2年生の必修科目であるメディア基礎演習ではそんなHCIの基本的なところを体験してもらうことを目標に,先日も紹介した micro:bit を用いた演習を3回コースで行なっています.この演習は自分で選択できるものではないので2年生が全員受けることになっています.

今週からはじまるグループの最初の課題は「自分たちの反応速度を調べてみよう」ということで micro:bitのプログラムを使ってLEDが光ったらボタンを押す,音が鳴ったらボタンを押すという行動の時間を計測しました.
micro:bitに書き込まれたプログラムを実行すると,しばらくして音が鳴ったり,LEDが点灯したりします.そうすると被験者(実験する人)はそれに反応するようにボード上のボタンを押すわけです.
そのとき,LEDや音が鳴った時間からボタンが押されるまでの時間を何度も計測することで,その人の反応時間を調査したり,光と音の刺激の差を見たりすることになっています.


実験自体は簡単なものなのですが,どちらかというと計測実験よりも実験レポートを書くことに慣れていない学生が多いようで,この演習では実験時間と同じくらいレポート作成に時間がかかっているようです.とはいえ,これから3年生,4年生と進むにつれ学会発表や卒業論文のようにまとまった実験レポートのようなものを書く機会は増えてきます.せっかくですのでこのようなライティングにも慣れて欲しいと思っています.


(羽田久一)

2019年5月17日 (金)