メディア学部の藤澤です。

昨年に引き続き、今年もスラバヤ工科大学から博士課程の学生が私の研究室に来てくれていました。今年、来てくれたのはEsther Irawati Setiawanさんです。Deep Learningを用いたマイクロブログなどのソーシャルメディアにおける文章と画像からの感情分析に関する研究を行っています。

来日間もなく。近藤先生と。

続きを読む "インドネシアのスラバヤ工科大学から博士課程学生との研究交流"

IndonesiaのUDINUS（メディア学部の提携校）と次のような共同研究をすることになりました．私の役目はWebによる情報収集とデータ可視化などです．

東京工科大学では，サスティナブル社会を目指して，応用生物学部や工学部が中心になって6学部が，地球温暖化や気候変動の問題をさまざまな形で取り組んでいます．

続きを読む "Indonesia UDINUS(メディア学部提携校）との国際共同研究プロジェクト開始"

さる６月１６日，東京藝術大学で行われた情報処理学会のデジタルコンテンツクリエーション研究会にて

修士１年の伊藤亘輝くんが発表を行いました．

タイトルは「糸を用いたボリュームディスプレイの提案」ということで，光る糸をつかった立体を表示するディスプレイです．

ボリュームディスプレイというのは奥行きのある表現を行う３D表示のためのディスプレイで，

箱の中に張られた糸がディスプレイでいう「ドット」の役割をします．

蛍光塗料を塗られた糸に紫外線をあてることで，暗闇の中で光のラインが上下に駆動するシステムで，

現在は16本の糸をステッピングモーターでコントロールしています．糸はそれぞれ自由に動かすことが可能ですので，さまざまな形を立体的に表現することができる新しい表現手段となっています．

続きを読む "糸で作るディスプレイ"

ある映像に「合う」音楽とはどのようなものでしょう？

あるストーリーを明確に伝える「声」はどのようなものでしょう？

誰しもが知りたいナゾです。

この疑問を解くためには、様々なアプローチがあります。

• 人間の知覚や認知のメカニズムを研究する
• 社会や文化との関わりを研究する
• ひたすら「合う」と思うものをセンスで作り続ける

こうした様々なアプローチがある中で、今日は「制作手法を調べる」という研究アプローチをご紹介します。

邦訳が出ておらず日本ではあまり知られていませんが、こうした研究に取り組む著名な学者のひとりにDavid Neumeyerという研究者がいます。音楽理論の専門家としてキャリアを積んだNeymeyerは「構造的に音楽をとらえる」という方法を拡張して「映像も音楽も音も、全てを構造的にとらえる」という手法を編み出し、映画音楽・映画音響研究の第一人者にもなりました。世界の映像音楽・映像音響を学ぶ学生が、まず最初に辞書のように参考にする「The Oxford Handbook of Film Music Studies」（2014）の主要な編集者の一人でもあります。

もう１名はBrian Kaneという研究者です。こちらは「映像と音」というよりも「見えないのに聞こえる音とは？」ということを、様々な作品の作られ方を中心に丹念に追いかけています。見えないのに聞こえる音…というと不思議な感じもしますが、実はわたしたちが録音物で音楽や声を楽しんでいるということは、「演奏者が演奏している姿が見えないまま、音だけを楽しんでいる」という現象です。考えてみたらとても不自然なことですね。なぜこのような聴取が可能なのでしょうか。音だけを聞いているわたしたちの頭の中では、いったい何が起こっているんでしょう。日本ではアニメや声優ファンを中心に、ラジオドラマや声を中心としたCDタイトルが根強い人気を誇っていますが、こうしたコンテンツを研究しようと思ったら、Kaneのようなアプローチに行き着きます。「Sound Unseen」（2014）という書籍に、その研究の成果がまとめられています。

この両者に共通するのが、1980年以降、映画音響研究者として長年活動を続けている、フランスのMichel Chionの著作を頻繁に参考にしているという点です。Chionの著作は、幸いいくつかは邦訳があり、読んだことがある方もおられると思います。

問題はここからです。

近年の映像と音・音楽の関わりは、確かにChionの成果を基盤にはしているのですが、邦訳されている書籍が参考にされていることはほとんどなく、アメリカ人であるNeumeyerやKaneが参考にしているのは、邦訳が出ていない著作の英語版ばかりなのです…。

日本語版が出ているChionの著作を読むと、あまり「制作技法」や「構造的にコンテンツの要素をとらえる」という研究者にはみえず、気ままにエッセイを連ねているように読めます。しかし英訳の著作を読むと、過去の名作がどのように制作されているのかや、それを構造としてとらえるメソッドのようなものが、とてもドライに、シャープにまとめられています。

英語にまとめられている研究成果をもとに、NeymeyerやKaneはさらに今日的な研究に発展させているのです。

「英語か…。たいへんだなぁ…。」

安心してください。

メディア学部では、こうした国際的に水準の高い内容をコンパクトにまとめて、授業や演習でお伝えしています。フランス人やアメリカ人のキャリアの長い研究者の感覚と、みなさんのような日本人の若者の感覚が同じか違うか…は、こうした知的基盤を「ものさし」として知った上で、自ら創作する演習を通じて確認・検証を行なっていく機会もあります。

6月17日に開催されるオープンキャンパスでは、映像音響機器の操作を学ぶだけでなく、こうした研究を本格的に進め始めている先輩たちが「音と映像のコラボレーション」のあれこれを試している様子を視聴できます。みなさん自身にも、プロ用のツールを体験してもらえる時間も用意しています。

センスだけで突き進めるのも若者の特権ですが、大学に来て、国際的なメソッドや考え方を早いうちに学べるのもまた若者の特権です。メディア学部で、そのチャンスをぜひ活かしてみてください♪

（伊藤彰教：特任講師）

メディア学部の三上です．

6月14日より，提携校であるタイのThammasart大学との交換プログラムがスタートしました．

タイから3年生から4年生に進級するタイミングの5名の学生が来日し，8月初旬までの間，東京工科大学で学びます．

関連記事
Thammasat University（タイ）との提携

続きを読む "提携校Thammasat大学との交換プログラムスタート"

みなさんこんにちは．

技術コースの羽田です．

今日は，今週末に迫ったオープンキャンパスに出展する，修士２年生の関さんによる聴覚ARアプリの紹介です．

皆さんはARと聞くとどんなものを思い浮かべるでしょうか？

スマートフォンのカメラを向けると画面に実際の景色に加えてキャラクターのCGが出てくるものがよく知られていると思います．

実はARというのは，カメラを使うものだけではないのです．ARの定義は，

「人が知覚する現実環境を，コンピュータによって拡張すること」．

足してあげる情報はCGなどの絵ではなく，音でも匂いでも味でもいいのです．

私たちは，現実世界にゲームのBGMを付けるというARアプリの開発をしています．

ゲームのBGMというのは，そのフィールドに合った曲が流れていますよね．

また，ゲームが好きな人はピンとくるかもしれませんが，よくプレイしたゲームのBGMを聞くと，

そのフィールドの光景やその時の気持ちが思い出されたりしませんか？

そんな気持ちを日常生活で味わってみようというのがこのアプリです．

今までは屋外用に作っていましたが，今回のオープンキャンパスでは屋内での展示なので，部屋ごとにBGMが変わるように開発しています．ぜひ，ゲームの世界を冒険する気持ちで，探検してもらえたらと思います．

(執筆：関，　文責：羽田）

メディア学部の三上です．

連続掲載も8回目を迎えました．これで卒業研究の学生はラストです．

今年の3月に私が会長を務める芸術科学会のほか，4団体が合同で開催する，映像表現・芸術科学フォーラムにおいて，創成課題学生1名，卒業研究8件，大学院生2件が発表しました．

今回紹介するのは，今はやりのバーチャルYoutuberにも応用可能な研究です．

続きを読む "「フェイシャルキャプチャーでアニメみたいに顔を動かす」（三上研芸術科学フォーラム学生発表その8）"

メディア学部の三上です．

連続企画も第7回を迎えました．

今年の3月に私が会長を務める芸術科学会のほか，4団体が合同で開催する，映像表現・芸術科学フォーラムにおいて，創成課題学生1名，卒業研究8件，大学院生2件が発表しました．

今回はコンピュータを利用した「デジタル万華鏡」の拡張表現について紹介します．

続きを読む "「デジタル万華鏡表現の拡張」（三上研芸術科学フォーラム学生発表その7）"

メディア学部の三上です．

連続掲載も6回目を迎えました．
今年の3月に私が会長を務める芸術科学会のほか，4団体が合同で開催する，映像表現・芸術科学フォーラムにおいて，創成課題学生1名，卒業研究8件，大学院生2件が発表しました．

今回紹介するのは，ゲームなどのリアルタイムコンテンツのエフェクトについての研究です．

続きを読む "「人間が描いたような炎をプログラムでどう生み出すか？」（三上研芸術科学フォーラム学生発表その6）"

メディア学部の三上です．

今年の3月に私が会長を務める芸術科学会のほか，4団体が合同で開催する，映像表現・芸術科学フォーラムにおいて，創成課題学生1名，卒業研究8件，大学院生2件が発表しました．今回紹介するのは第5弾です．

今回紹介するのは，ゲームグラフィックに関する研究です．単に美麗なグラフィックをというわけにもいかない事情を含まて紹介します．

続きを読む "「背景になじむ親和性と操作しやすい顕著性のはざまで・・・」（三上研芸術科学フォーラム学生発表その5）"