先端メディア学「音声対話でイラスト検索」
2016年2月29日 (月) 投稿者: メディア技術コース
みなさん、こんにちは、
2016年度からメディア学部は新しい授業「先端メディア学」を始めます。大学1年生の後期から研究室に所属し、最先端の研究に加わる今までにないスタイルの授業です。「先端メディア学」には、ほぼ研究室の数だけテーマがあります。
その1つが「音声対話でイラスト検索」です。今日は、この授業テーマでどんなことをするのかを簡単に紹介しましょう。
図1は音声対話で図柄パタンを検索してデザインするシステムです(文献3)。最近スマホやタブレットで音声で情報検索できるようになりましたが、図柄は種類が多いうえに、どのように言葉で表現したらいいのかわかりません。でも、人間同士は「あの、モコモコしたマルッコイの」などのように言えば、相手にイメージ伝わります。そんなことをコンピュータの検索システムでもできるようにしたのです。
みなさんはスマホのコミュニケーションアプリのLINEは使っているでしょうか?LINEにはスタンプと呼ばれるイラストを表示できる機能があります。この種類は非常に多くて、検索が大変です。最近は、「がーん」などの文字入力でスタンプ候補が表示されるようになりましたが、音声を使えば、もっと便利に探せそうです。それで、LINEのスタンプを音声で検索する研究を行ってきました(文献1,2)。音声認識機能を搭載していますので、音声認識された文章はLINEの対話のように文字で表示されます。動作例を表示したいところですが、スタンプには著作権がありますから、ここには掲載できません。
このようなことができると、キーボードで文字を入力して検索する方法では検索しにくかった、いろいろなものが検索できるようになります。「先端メディア学」に参加して、新しい方法を開発しませんか?
参考文献
以下はすべて、卒業研究中に学会発表したものです。
[1] 雨宮 香織,相川 清明, "擬態語・擬音語による音声検索を用いたスタンプ描画システムの性能を左右する要因", 日本音響学会講演論文集, pp. 73-74, 2015-03
[2] 冨田観月、相川清明, "擬態語・擬音語音声入力によるスタンプ描画インタフェース", 日本音響学会講演論文集, 2-Q4-12, pp.144-145, (2014-03)
[3] Yukiko Suzuki, Kiyoaki Aikawa, "Towards Voice-Input Symbolic Pattern Retrieval using Parameter-Based Search", INTERSPEECH 2011, pp.1121-1124, (2011-08).
(相川 清明)
「在学生向け」カテゴリの記事
- チュラロンコン大学からのインターン学生との再会(2019.03.14)
- あにめたまご2019「文化庁若手アニメータ等人材育成事業」(2019.03.12)
- タイの提携校、キンモンクット大学トンブリに短期訪問しませんか?(2019.03.11)
- 学会紹介:ADADA Japan学術大会と情報処理学会EC2019(2019.03.09)
- 大学院授業:プロシージャルアニメーション特論の紹介(2019.03.08)
「授業紹介」カテゴリの記事
- トップレベルの論文を読み込む「CG技術特論」(大学院授業紹介)(2019.03.13)
- 大学院授業:プロシージャルアニメーション特論の紹介(2019.03.08)
- 専門演習「空間インタラクティブコンテンツ」2018後期(3)(2019.02.22)
- タンジブルインタラクションデザイン最終発表(2019.02.13)
- 専門演習「空間インタラクティブコンテンツ」2018後期(2)(2019.02.12)
「研究紹介」カテゴリの記事
- 映像表現・芸術科学フォーラムにて卒研生が優秀発表賞を受賞(2019.03.17)
- 自由な言葉でライブパフォーマンスをアレンジする(2019.03.16)
- 先端メディア学II(2年生)の学生が人工知能学会の研究会で発表(2019.03.15)
- 映像表現・芸術科学フォーラムでの発表(2019.03.10)
- ゲームの学会?!(2019.03.07)
「高校生向け」カテゴリの記事
- チュラロンコン大学からのインターン学生との再会(2019.03.14)
- 大学院授業:プロシージャルアニメーション特論の紹介(2019.03.08)
- ゲームの学会?!(2019.03.07)
- 香港理工大学デザイン学部の紹介(2019.03.04)
- 香港理工大学デザイン学部を訪問し、学部長Lee先生にお会いしました!(2019.03.03)