« フレッシャーズ(新入生)ゼミ交流会での「遊びの発明」 | トップページ | Twitter上で語りかけるキャラクターたち »

メディア専門演習「音・音声インタフェース」 

|

みなさん、こんにちは、

 
今年も、メディア専門演習「音・音声インタフェース」がスタートしました。メディア学部では、20種ほどもあるメニューの中から好みの演習2つを選んで履修します。「音・音声インタフェース」は、プログラミングで楽器音シンセサイザや音声対話システムを作る演習です。プログラムにはMATLABという信号処理ツールを使います。メディア学部には88鍵のキーボードやいろいろな音源や音響効果装置を各OAデスクに設置した、特別の音響演習室があります。各デスクにはパソコンとサウンドインタフェースが設置され、マイク入力もヘッドホン出力もできます。教卓では、各デスクの音をミキサーで選んでスピーカから流すこともできます。「音・音声インタフェース」はその部屋で演習を行っています。
 
それでは、15回の演習で何をするのか紹介しましょう。
 
第1回 MATLAB基本操作
第2回 音信号の発生と波形描画
第3回 音色の発生
第4回 スペクトログラム
第5回 効果音の発生(ビブラート、リバーブ)
第6回 GUI(キーボード)
第7回 シンセサイザ(楽器音合成)
第8回 線形予測分析(ボコーダ)
第9回 音と音声の入力(VAD)
第10回 ピッチ抽出(カラオケ採点)
第11回 双方向音・音声インタフェース(音声対話)
第12回 マルチモーダルインタフェース 
第13回 高度化
第14回 創作課題
 
さて、詳細は?
 
まず、前半の7回で楽器音シンセサイザを作ります。アナログシンセサイザをディジタルでシミュレートし、本格的にADSRと呼ばれる、音量や周波数成分の時間的な制御も行います。5回目ではビブラートやリバーブなどのエフェクトもかけられるようにします。
8回目では線形予測分析のアルゴリズムを修得し、人の声からボコーダ音声を作成します。これを使えば、人の声を楽器音のように使って音楽を演奏できるようになります。
音声情報処理の要素技術である、VAD(Voice Activity Detection)による音声の自動取り出し、ケプストラムという特徴を使って声の高さであるピッチを求め、カラオケ採点機を作ったり、それを応用して音声対話をしたりします。
さて、今日は4回目サウンドスペクトログラムを作りました。サウンドスペクトログラムは横軸に時間、縦軸に周波数を取り、周波数成分の強さを色で表示したものです。赤が最も強く、青が最も弱いことを示します。人の声を分析した場合には指紋のような縞模様が現れますので、声紋とよばれることもあります。図1はサウンドスペクトログラムの例です。縞模様も見えています。

Example_spectrogram

               図1 サウンドスペクトログラムの例

 

授業紹介」カテゴリの記事

高校生向け」カテゴリの記事

« フレッシャーズ(新入生)ゼミ交流会での「遊びの発明」 | トップページ | Twitter上で語りかけるキャラクターたち »