後期の先端メディアゼミナールのテーマ「ＡＩと音響分析」（担当：大淵先生、2年生対象。筆者（越智）もサポート役として参加しています。）では、前期に引き続き、日常の音を対象として、機械学習を活用してさまざまな問題を解こうという研究に挑んでいます。前期は、機械学習によって鉛筆の筆記音から鉛筆がの先が尖っているか丸まっているか識別したり、足音から歩いた場所や歩いている人を識別する課題などに取り組みました。

後期に入って、まず第1週目に今学期はどういう研究課題に取り組もうかと議論しました。そのとき受講生から、天ぷらを揚げる音はプロが聞くと揚がったかどうかがはっきり分かるそうなので、それを研究してはどうか、という案が挙がりました。すると、大淵先生が意外にも「いいね、ぜひやってみよう」と言い、実現することになりました。つまり、揚がり具合を音からAIで判定しようという試みです。

第2週は、研究室に電気フライヤーを持ち込んで実験の開始です。機械学習を行うには学習にデータが必要で、その後学習の結果できたＡＩの性能を評価するには、評価用データも必要になります。これらのデータは実際に音を録音することで収集し、1個1個が学習・評価どちらに使われるかはランダムに振り分けることになります。そういうわけで、実際に天ぷらを揚げる録音実験を行う必要があるのです。

実験準備。野菜を切ります。

録音マイク付き小型カメラをセットします。

料理好きの4年生が様子を見に来ました。

続きを読む "お料理音響学実験：おいしい天ぷらの作り方？"

今回は、メディア基礎演習のテーマの一つで私と他3名の教員が授業を担当する「デジタルコンテンツを知る」（竹島先生担当）が先週からスタートしたので、その紹介をします。

この演習テーマは、3週にわたって実際にデジタル音声・画像・映像処理や編集をしながらデジタルコンテンツの基礎について知ろうというもので、今年度の新1年生から初めて開始されました。これまで、第1・第2週の回を終えました。

第1回：音について

まず、基礎知識として、音圧波形を表したアナログ信号をデジタル信号に変換してデジタル処理をすることについて前期の復習をし、デジタル信号の性質を確認しました。

その後、自分の声や物音を録音してから、音の編集ソフトAudacityを活用して音の編集を体験しました。下図のように音楽（上トラック）などに自分で録音した音（中・下トラック）を繰り返し追加してリズムを作り、ミキシング（混ぜ合わせる作業）を行いました。また、新しい音を音響合成によって作る作業もしました。

最後に、皆が作った音を流して鑑賞会をしました。とても凝った音楽的な作品や、開始部分で盛り上がって惹きつけるようにするなど構成が練られた作品や、声や音にエフェクトをかけておもしろい音にしてミックスした作品などがあり、ミキシングとひとことで言っても色んな工夫の仕方があるのを発見しながら聞くことができました。

作品の波形の例

続きを読む "メディア基礎演習Ⅰ～デジタルコンテンツを知る～スタート"

メディア社会コースの進藤美希です。

ユーザーインターフェースというと、少し前までは、技術系のかたが研究するテーマでした。

しかし、今では、わたしたちビジネスの研究者にとっても重要なテーマになっています。

これは、お客様に、どのようなメディアやデバイスでを接点として、どんな経験を提供できるかというテーマです。

今、世界でもっとも使われているデバイスのひとつはおそらくスマートフォンでしょう。

こうしたモノにより、素晴らしい経験をお客様に提供できれば、ビジネスもうまくいく、という考え方なのです。

スマートフォンも、しかし、永遠に使われるというわけではありません。

今後は、バーチャルリアリティや、人工知能、といったモノがお客様との接点になっていくと考えています。

こうしたテーマに関心を持っていただけると幸いです。

9月2日～6日にインドのハイデラバードで開催された、音声・音響信号処理、音声科学についての国際学会Interspeech2018に参加し、発表を行ってきました。ハイデラバードはデカン高原にある都市で、この時期は雨が多いそうですが、空気はからっとしていて過ごしやすい気候でした。

旧市街地の様子。出店でにぎわっています。

学会は、工学系の音声・音響信号処理、音声科学といった、音声・音に関わる文系・理系は問わない世界中の研究者や学生が集う場で、インドでは初開催でした。インドはたくさんの言語を持つ国ということで、今回はインドの諸言語での音声認識（音声信号から発話内容を書き起こす技術）、さらにその言語でのデータの量が限られているときに対応した音声認識に焦点を当てたセッションが組まれていました。

開会式でインドの多言語文化についての解説が行われている様子（上）と
色々な言語の文字がお店の看板に併記されている様子（下）。

今回私は、音声信号処理の福祉応用である、（１）「機械学習を使った発話障害（吃音症）の言語訓練の自動評価方法」と、共同研究である英語学習についての（２）「日本語母語話者による日本語および英語の発話時に呼吸の比較」について発表を行いました。

（１）は医療と関わる分野です。言語訓練（発話のリハビリ）では患者さんが症状を減らす効果がある発声方法の練習を毎日練習する必要があるので、うまく発声ができているかを携帯端末などで自動評価して練習を行いやすくすることを目指しています。そのために、色々な人の発声を学習データとして使い、その音響特徴量から機械学習によって発声ができているかを判定する手法を提案し、9割程度の精度で判別できることを示しました。

（２）は音声学などの人文系と理工系の融合した分野の研究です。言語によって呼吸の仕方を変えているのか調べるために呼吸に関わる器官の動きや呼吸量を測り、信号処理と分析をしました。下の写真には写っていませんが、地元インドからの学生さんがたくさん参加していて熱心にポスター発表を聞いている姿がありました。

発表の様子

続きを読む "国際学会Interspeech2018で音声信号処理・音声科学の発表をしてきました"

今年の8月に国際会議（The 18th International Conference　on Geometry and Graphics，ICGG2018)がイタリアのミラノで開催されました．

この会議は，幾何学と図学に関係するテーマが中心です．コンピュータグラフィックスをはめとして機械系，建築系，造形デザイン系などさまざまな研究発表が行われます．そのために，ミラノの建築物に興味を持つ研究者も多くいます．私もその一人です．

この記事は国際会議の研究発表のことでなく，視覚と建物の関係について紹介します．

まずは，教会の写真をみてください．

奥行きのある教会とみていると思います．

続きを読む "びっくりする教会の紹介【おもしろメディア学，視覚と建物】"

みなさん、こんにちわ、メディア社会コースの進藤です。
オペラは、芸術作品ですが、お客様を劇場におよびする以上、マーケティングも必要になります。
マーケティングを舞台芸術作品の興行に適用する試みは1960年代以降，主に文化経済学やアーツマネジメント等の研究者によって行われてきました。また，舞台芸術作品のマネジメントを研究する分野であるアーツマネジメントという方法もあります。
しかし舞台芸術作品からは，直接的に金銭的利益が得にくいことはたしかです。そこで、特にヨーロッパでは舞台芸術は主として政府の助成により支えられてきました。日本でもペラへの政府からの助成は主として文化庁の「舞台芸術創造活動活性化事業」のなかで行われています。
けれども、若い人々に来ていただくための努力も様々に行われており、わたしは、そうしたマーケティングも研究しています。

大淵・越智研究室では、前回8月5日のオープンキャンパスに引き続き、音響処理と聴覚の技術と研究についての展示と体験を行う予定です。前回はレポート記事でも紹介されていたように、たくさんの方にお越しいただきました。

8月5日の展示の様子

今回は、前回の記事 で紹介しきれなかった展示を紹介します。

（１）　音の振動を体感しよう＆共鳴を見よう

貼り付けた物を振動させるスピーカーを使い、振動を体感できます。また、同じスピーカーを鉄板に貼り付けて共鳴させ、その様子を観察します。

円板のクラドニ図形

上図のように、円盤の下に貼り付けたスピーカーからサイン波の振動を加えると、特定の周波数のときに板が共鳴を起こし、大きく動く振動の「腹」の部分と、動かない「節」の部分ができます。色付きの砂をまくと、節のところに砂が集まります。これはクラドニ図形と呼ばれています。

四角形の鉄板の場合は、下図のように複雑な模様が生じます。左下のものから右へ向かってだんだん複雑になっていますが、それぞれ182Hz, 243Hz, 398Hz, 420Hz, …と、形状や材質で決まるその板固有の周波数（１秒間の振動数で、音の高さに対応する数、単位はHz(ヘルツ)）のときに共鳴が起こって節が観察できます。

さまざまな周波数での正方形の板のクラドニ図形

（２）　卒業研究紹介コーナー

去年の卒業生による、音の分析や合成、音が人間に及ぼす影響を調べた卒業研究を紹介しているコーナーです。音を使った研究の幅の広さを感じていただけると思います。

以上のように、8月26日にも色々な音の性質や音に関する技術、研究について体験していただるので、お越しのさいはぜひ大淵・越智研究室にお立ち寄りください。

メディア技術コース　越智

みなさん、こんにちわ、メディア社会コースの進藤です。

みなさんは、広告というとテレビコマーシャルのイメージが強いのではないでしょうか？

しかし、現在では、メディアの環境が大きく変わり、広告も大きく変わっています。

あらゆるコミュニケーションが広告となることが可能になっています。

たとえば、みなさんが何の気なしにSNSに投稿された記事に、おいしい飲み物や食べ物について書か照れていたとき、それは、意図なさらなくとも、結果的に広告として機能することがあります。

広告の受け手となる生活者のみなさんが、ああ、いいなあと、思うのであれば、どんなかたちであっても、それは広告となりうるということです。

面白い時代になってきましたね。

提携校ISART Digitalがあるパリは多くの人が一度は行きたいと思っている都市です．

なぜそうなのかというと，おもしろい，興味の惹かれることを多いからだと思います．

私が撮影した次の写真をまずみてください．

遠近がはっきりとした一点透視図のように見えますね．ガラス越しに赤い線，白い線がきれいに見えます．

赤い線や白い線が一点で交わるように見えるような図を一点透視図といいます．遠近が明確になっており，長い建物のように感じます．このような一点透視図の例として有名な絵画にレオナルドダビンチの「最後の晩餐」があります．

続きを読む "おもしろメディア学：街の景観その1（パリ出張報告その7）"

パリには大変多くの美術館があり，教科書で見たことがあるような絵画をみることができます．実際にその場で絵画を見た時に，驚くことのひとつに，「大きさ」があります．

教科書で見ると，実際の大きさがよくわからないことがあります．サイズが書いてあっても，それを見ていなかったり，気にしなかったりして，なかなか理解できていません．それを実際に見ると，思っていたサイズと大きく異なっており，驚くことがあります．

博士論文を執筆した渡邉賢悟氏が研究していた点描画手法の評価に　”Georges Seurat‏「Model from the Back」”を使っていました．開発したシステムで描いた画像を示します．

http://blog.media.teu.ac.jp/2013/09/post-4042.html

オルセー美術館でその実際の絵画を見る機会がありました．

皆さんはどのくらいの大きさかご存知でしょうか？

続きを読む "おもしろメディア学　絵画の大きさ　【パリ出張報告その6】"