メディア専門演習「音・音声インタフェース」
2015年5月 3日 (日) 投稿者: メディア技術コース
みなさん、こんにちは、
今年も、メディア専門演習「音・音声インタフェース」がスタートしました。メディア学部では、２０種ほどもあるメニューの中から好みの演習２つを選んで履修します。「音・音声インタフェース」は、プログラミングで楽器音シンセサイザや音声対話システムを作る演習です。プログラムにはMATLABという信号処理ツールを使います。メディア学部には88鍵のキーボードやいろいろな音源や音響効果装置を各OAデスクに設置した、特別の音響演習室があります。各デスクにはパソコンとサウンドインタフェースが設置され、マイク入力もヘッドホン出力もできます。教卓では、各デスクの音をミキサーで選んでスピーカから流すこともできます。「音・音声インタフェース」はその部屋で演習を行っています。
それでは、１５回の演習で何をするのか紹介しましょう。
第1回 ＭＡＴＬＡＢ基本操作
第2回 音信号の発生と波形描画
第3回 音色の発生
第4回 スペクトログラム
第5回 効果音の発生（ビブラート、リバーブ）
第6回 ＧＵＩ（キーボード）
第7回 シンセサイザ（楽器音合成）
第8回 線形予測分析（ボコーダ）
第9回 音と音声の入力（ＶＡＤ）
第10回 ピッチ抽出（カラオケ採点）
第11回 双方向音・音声インタフェース（音声対話）
第12回 マルチモーダルインタフェース
第13回 高度化
第14回 創作課題
さて、詳細は？
まず、前半の７回で楽器音シンセサイザを作ります。アナログシンセサイザをディジタルでシミュレートし、本格的にＡＤＳＲと呼ばれる、音量や周波数成分の時間的な制御も行います。５回目ではビブラートやリバーブなどのエフェクトもかけられるようにします。
８回目では線形予測分析のアルゴリズムを修得し、人の声からボコーダ音声を作成します。これを使えば、人の声を楽器音のように使って音楽を演奏できるようになります。
音声情報処理の要素技術である、ＶＡＤ(Voice Activity Detection)による音声の自動取り出し、ケプストラムという特徴を使って声の高さであるピッチを求め、カラオケ採点機を作ったり、それを応用して音声対話をしたりします。
さて、今日は４回目サウンドスペクトログラムを作りました。サウンドスペクトログラムは横軸に時間、縦軸に周波数を取り、周波数成分の強さを色で表示したものです。赤が最も強く、青が最も弱いことを示します。人の声を分析した場合には指紋のような縞模様が現れますので、声紋とよばれることもあります。図１はサウンドスペクトログラムの例です。縞模様も見えています。
図１ サウンドスペクトログラムの例
「授業紹介」カテゴリの記事
- トップレベルの論文を読み込む「CG技術特論」（大学院授業紹介）(2019.03.13)
- 大学院授業：プロシージャルアニメーション特論の紹介(2019.03.08)
- 専門演習「空間インタラクティブコンテンツ」2018後期（３）(2019.02.22)
- タンジブルインタラクションデザイン最終発表(2019.02.13)
- 専門演習「空間インタラクティブコンテンツ」2018後期（２）(2019.02.12)
「高校生向け」カテゴリの記事
- チュラロンコン大学からのインターン学生との再会(2019.03.14)
- 大学院授業：プロシージャルアニメーション特論の紹介(2019.03.08)
- ゲームの学会?!(2019.03.07)
- 香港理工大学デザイン学部の紹介(2019.03.04)
- 香港理工大学デザイン学部を訪問し、学部長Lee先生にお会いしました！(2019.03.03)