音声検出のむずかしさ
2016年12月12日 (月) 投稿者: メディア技術コース
みなさん、こんにちは、
みなさんは「音声検索」を使ったことはありますか？スマホやタブレットに話しかけて情報検索を行うことです。名称のついた音声検索機能としては、「Siri」とか「しゃべってコンシェル」などが知られています。
みなさんがスマホの話しかけると情報検索が始まりますが、よく考えてみると、話し終わる前に検索を始めたら全然違うことを検索してしまいそうですよね？「音声検索」という言葉を調べようと思っているのに、「音声」とはいったところで、検索処理を始めてしまったら困ります。このような、まとまった音声を検出することは、意外に難しいのです。まず、図１を見てください。横軸は時間で、縦軸は音響振動を表しています。
図１ 音声１
さて、音声のまとまりはいくつありますか？
長めの音声が話された後、しばらくして、短い音声が話されたように見えますね？２つ単語が話されたのでしょうか？それでは、次の図２はどうでしょうか？
図２ 音声２
これでは、３回音声が話されたように見えますね？３回目の音声はしばらくして話されたようにも見えます。
タネあかしをしましょう。実は図１は「小切手」と話した１つの音声なのです。図２は「ポケット」です！音が切れて見えるのはどうしてでしょう？
「ぱ」、「た」、「か」などの音は、一旦口を閉じないと発声できないのです。このような音声を「破裂音」と言います。口を一旦閉じ、風船を爆発させるようにして音を出すからです。このような音声では、一旦口を閉じたときに音が出なくなりますから、このような音の途切れができます。さらに「コギッテ」や「ポケット」などは小さいツがはいりますね？これは「促音」と呼ばれる音ですが、これらはさらに音が出ない時間が長くなるのです。
図の横軸の数値は秒を表しています。「ポケット」の小さい「ッ」の長さは約0.4秒あることがわかります。なので、音が終わったかどうかを判断するには0.4秒は待たないといけないのです。
マイクには、キーボードを打つ音、ドアが閉まる音、スマホに指やものが触れる音など、いろいろな音が入ってきますが、これらが「音声ではない」と判断する必要もあります。「カタカタ」スマホが何かにぶつかる音が入ったあと「音声検索」を調べようとしたとき、「カタカタ音声検索」を調べ始めたら困ります。
このように、みなさんが何気なく使っている「音声検索」には音声特有の音声検出の方法が工夫されているのです。この音声部分の検出のことをVAD (Voice Activity Detection)と言います。メディア学部の授業の１つであるメディア専門演習「音・音声インタフェース」ではVADのしくみをプログラムで作成する演習を行っています。
相川清明
「研究紹介」カテゴリの記事
- 経済現象の可視化と指標化(2)(2018.12.09)
- 経済現象の可視化と指標化(1)(2018.12.08)
- 2018年度社会経済システム学会全国大会に参加して(2018.12.07)
- 音楽系研究室の学生の研究発表紹介：ゲームサウンド（ADADA Japan 学術大会）(2018.12.06)
- フランス人留学生が作ったすごいゲーム(2018.12.04)
「高校生向け」カテゴリの記事
- 受験スケジュール管理の一手法(2018.12.15)
- 「ProcessingによるCGとメディアアート」（講談社） が出版される(2018.12.11)
- 卒業研究「プロダクトデザイン」は提案物の最終的表現の段階へ(2018.12.10)
- 台湾で開催されたThe 16th International Conference of Asia Digital Art and Design (ADADA2018) への参加(2018.12.03)
- 国立台湾大学の研究室を訪問(2018.12.02)