« 先端メディアゼミナールの成果紹介2017 | トップページ | 学会発表: 嘘をつくゲームAI »

NICOGRAPH2017でのAIを使った音メディア研究の発表(その1)

|

大淵・越智研究室のメンバー2人は芸術科学会の学会NICOGRAPH2017(2017 年11月10日(金)~12 日(日)開催)で、音に関する研究の研究成果を発表しました。ここではその1として、一人目の発表を紹介したいと思います。

福永大輝君は、「リズムアクションゲームおけるキー音の音響的特徴の分析」について発表を行いました。リズムアクションゲームとは、音楽に合わせて画面上に出現する視覚的な記号に沿って入力を行い、入力が正しければ高得点になるゲームです。

Rythm_game3

リズムアクションゲームは、音楽に入力操作によって効果音(打楽器の音など)を追加するものが一般的ですが、この研究では、楽曲中の音を切り出したものが入力の対象(「キー音」と呼ばれます)となるタイプのゲームを対象としています。

Key_sound2_2

つまり、プレイヤーの入力がうまくいくと楽曲が完成するのですが、楽曲中の色んな音色の音がキー音になりうるので、よいゲームにするには熟練した人がどの音をキー音にするか設定する必要があります。

福永君は自動的に好きな楽曲からキー音を選んでゲームとして遊べるようにしたいという目標を持って今年度から研究を進めていて、今回はその第一段階として、楽曲の一部にキー音の設定が与えられたときに、残りの部分についてどの音がキー音になりやすいか「キー音になる確率」を自動推定する研究を発表しました。この自動推定は、楽曲を構成する各音の音響的な特徴量である音量や高さ、共鳴などに関わるさまざまな統計量を使って機械学習によって行います。

Ai

キー音となる確率の推定の例

具体的には、対数音量、高さに対応する基本周波数、どの周波数にどれくらいの成分が含まれるかを調べてその中でどの一番成分が大きい周波数かや、分散はどれだけかなどです。

その結果、正解のキー音の設定(楽曲中でその音が何割がキー音になるか)と推定値が高い相関を持つことを示しました。つまり、キー音の設定が与えられている部分にはない別の音がキー音が未設定の残りの部分で出現しても、その音響的特徴からそれがキー音になりうるか自動的に推定ができるということです。

ポスター発表のセッションでの発表で、話を聞きに来た方たちとポスターを前に活発な議論ができました。

Poster_rythm_game2

発表のようす
メディア技術コース 越智

[文献] 福永大輝,大淵康成,“リズムアクションゲームにおけるキー音の音響的特徴分析”,NICOGRAPH2017, P-12, 2017.

在学生向け」カテゴリの記事

研究紹介」カテゴリの記事

高校生向け」カテゴリの記事

« 先端メディアゼミナールの成果紹介2017 | トップページ | 学会発表: 嘘をつくゲームAI »