メディア学部羽田です．

オープンキャンパスなどで展示をおこない，このブログでも何度かお伝えしている音を使ったARシステムである plARy ですが，次は大学を飛び出して東京ゲームショーに出展です．今週の木曜から日曜までの４日間はメンバーが幕張メッセにでかけて展示と説明を行います．

東京ゲームショーといえば，たくさんの来場者がある上に，ブースの場所も限られていますので，フルセットで持ち込むわけにはいかなかったのですがパネル展示とともに，縮小版のデモを準備しました．

もし，東京ゲームショーにお越しになる方がおられましたら，iBeaconを使った新しい音楽アプリを体験しに我々，東京工科大学のブースまでお越しください．

お待ちしています．

こんにちは　技術コースの羽田です．

エンタテインメントに関する学会であるEC2018 が昨日より土曜日まで調布の電気通信大学で開催されています．この学会は「楽しい」をテーマにした学会で我々の研究室では毎年のように参加しています．

http://ec2018.entcomp.org/program/

本研究室でも昨日は大学院生の伊藤君と小野君の発表「首への熱刺激による VR 体験者への方向提示の提案」がありました．この研究は　首のまわりに熱を発生するデバイスを取り付け，VRの画面と連動して画面内の物体があたかも熱を発生させているように感じさせるというものです．今回は基礎検討ということで，首のまわりにいくつの熱源を用意すると違和感がなくなるのか，といったことを検証しています．

このエンタテインメントコンピューティングの特徴は，登壇発表の他に多くのデモが用意されていることです．百聞は一見にしかずといいますが，新しい研究を実際に体験することでより理解が深まることや，多くの人の反応を見ることで研究をさらに進展させることもできます．

そして，今日この記事を書いた本題なのですがこのエンタテインメントコンピューティングのデモは，明日の土曜の午後の時間は一般に開放されることになっています．

つまり，明日の午後に調布の電気通信大学にお越しいただければ，現在の最先端の研究を使ったデモを体験することが出来るのです．13時から14時40分と短い間ですが，30件以上のデモが展示されます．

この中には我々の研究も展示されることになっていますので，お時間あれば体験しにお越しいただければとおもいます．我々のシステムの他にも，テレビのニュースなどで時々見るような面白いシステムを体験することができますので調布でお待ちしています．

メディア学部の大淵です。

先日のブログ記事に続き、「ADADA Japan 学術大会」での研究発表をご紹介します。今回紹介するテーマは、矢島春香さんの「サラウンド音響と動画像のずれに対する許容度の検証」です。

サラウンド音響とは、聴く人の周囲に沢山のスピーカーを配置し、前後左右さまざまな方向から音が聞こえるようにする仕組みのことで、ホームシアターでも用いられる5.1チャンネルサラウンドなどが有名です。しかし、リビングルームなどでは正しい位置にスピーカーを置けないことも多く、そのため音の方向がずれてしまうこともあるかもしれません。そんなケースを思い浮かべて、「大丈夫なんだろうか？」と疑問を持ったところからこの研究が始まっています。とはいえスピーカーの位置を適当にしてしまっては正確な分析ができないので、代わりに信号処理を使って音の移動のタイミングを少しずつずらすということをやってみました。映像を見ながらサラウンド音響を聞くと、両者にずれがある場合には当然違和感が生じるわけですが、その違和感の生じ方が、映像の内容によって変わるというのが今回の実験結果です。

幸運なことに、今回の発表に対して、学会から「優秀ポスター発表賞」をいただくことができました。矢島さんは9月から大学院に進学する予定なので、この研究を更に発展させて、もっと素晴らしい成果を挙げられればと思います。

メディア学部の大淵です。

9月3日に開催された「ADADA Japan 学術大会」では、当研究室から2件の研究発表を行いました。その中から、堀内将生さんの「聴取者の感情を可視化する音楽プレーヤーの開発」という発表を紹介したいと思います。

この研究では、音楽プレーヤーで音楽を聴くときに、カメラを使って聞いている人の表情を撮影します。そしてその表情から推定された感情に合わせて、音楽プレーヤーのスキンを変更してやろうということを試みています。再生中の音楽を分析して、それに合わせてスキン映像が変化するプレーヤーは多数ありますが、聴いている人の感情の方に着目したところが特徴です。

この研究の肝となる「顔画像からの感情認識」のところは、Microsoft社の「Face API」という仕組みを活用することで、短期間での開発が可能となりました。一方、その結果を表示するところは自作です。再生中の音楽を分析し、そのリズムに合わせて画像を変化させることで、分析のリアルタイム感を感じられるようにしています。

今回のポスター発表では、実際にプロトタイプを使った実演も交えて説明を行いました。現時点では感情を色で表現するシンプルなデザインですが、今後さらにアイディアを膨らませて、ユニークな表現ができればと思っています。

8月3日から7日まで開催されたThe 18th International Conference on Geometry and Graphics：ICGG2018 (イタリア，Politecnico di Milano）において，コンテンツディベロッピング論，プロジェクト演習「キャラクターメイキング」，「ディジタルコンテンツ創作入門」などで行っているキャラクターメイキングの教育内容を研究発表しました．

私たちのコンテンツプロデューシング，コンテンツプロダクションテクノロジーの研究成果をもとに，それを教育に生かすという方針のもと，将来のコンテンツ制作のために先端的な内容を教育しています．　写真は研究発表する茂木先生です．

続きを読む "国際会議ICGGで「キャラクターメイキング教育」を発表"

こんにちは、メディア学部の藤澤です。

昨年度から東京工科大学では全学的に人工知能の活用に関する研究に力を入れています。メディア学部でもメディアAI分科会を立ち上げてメディアに関わる研究でどのような活用ができるか、情報を共有しながら研究を進めています。

このような中で現在、メディア学部の太田先生と一緒にすすめ、先端メディアゼミナールの中で進めている研究を紹介します。これまで太田先生はマイクロソフト社のKinect（キネクト）を用いて喫煙状態を検出してサイネージなどで受動喫煙を防止する広告を流す試みを行う研究を勧めていました。

Kinectが2017年に精算終了したことを受け、代わりになる技術としてOpenPoseを利用して同様のことができないか、実験してきました。OpenPoseはCMUで開発された、画像（動画）から人工知能技術の一つであるDeepLearningを用いて人の骨格を検出する仕組みです。特徴としては、通常の画像やWebカメラからの動画からリアルタイムに骨格を検出できます。CPUだけの処理だと2～3fpsと非常に遅いですが、GPUを使うことで15～30ｆｐｓでの検出が可能になりなります。これらの検出にKinectで必要だったキャリブレーションは不要です。もう一つの特徴として、複数の人の骨格を同時に検出することができます。

これにより、複数いる喫煙者をまとめて検出することができるようになりました。

6人の骨格を検出しそのうち4人の喫煙を検出した様子

現状では、非喫煙状態を喫煙状態として検出するなどの誤検出もあるので、今後、改善を進めていきます。

メディア学部の伊藤謙一郎です。

8月26日（日）オープンキャンパスPRブログ第一回：メディアコンテンツコース編で紹介されている通り、今回のオープンキャンパスでは、私と伊藤彰教先生が関わる音楽系の演習と研究室から、下記の４つのテーマで出展します。

　【１】「音と映像のコラボレーション」［片柳研究所棟４階（廊下）］

　　　　：映像の印象が、音楽と効果音でどう変わるか体感してみましょう。

　【２】「アナログシンセで音作り」［片柳研究所棟４階（廊下）］

　　　　：アナログシンセにケーブルをパッチングして、いろいろな音色を作ってみよう！

　【３】「卒業研究紹介」［研究棟Ｃ（４１９）］

　　　　：音楽系研究室で4年生が取り組んでいる研究・制作をご紹介します。

　【４】「大学院生研究紹介」［研究棟Ｃ（４１９）］

　　　　：音楽系研究室で大学院生が取り組んでいる研究をご紹介します。

続きを読む "8月26日オープンキャンパス：音楽系研究室の研究紹介 "

メディア学部の藤澤です。

先日、森川先生が書かれたオープンキャンパスに関するブログ「８月26日（日）夏休みの締めくくり！平成最後のオープンキャンパス開催！！ PRブログ第二回：メディア技術コース編」でもご紹介いただいたのですが、私が今年度から始めたプロジェクト演習：人工知能実験室もオープンキャンパスに出典します。

人工知能はここ数年で新たなブームが来ていますが、まずは身近な人工知能を実験的にいろいろ試してみよう！という演習です。演習では、画像分類やスマートスピーカでいろいろ試してきました。

オープンキャンパスでは演習の中で取り上げたスマートスピーカでの試みや、CMUで開発されたOpenPoseという画像（動画）からのリアルタイム姿勢検知を行う仕組みとそれを用いた研究の紹介などをしています。

OpenPoseのデモ（7/15 オープンキャンパスで撮影）

続きを読む "人工知能実験室：8月26日 オープンキャンパス"

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

開催間近の案内となりますが，8月26日（日）のオープンキャンパス（詳細はこちらから）で模擬授業を担当いたします．

模擬授業は「最新 CG 映像の作り方」と題して，CG 映像の基本的な理論と制作手法を解説しながら，皆様が日頃様々なコンテンツで目にしている最新の CG 映像がどのようにして制作されているのかを紹介します．

前回のオープンキャンパスでの模擬授業の様子（2018,07,15）

続きを読む "8月26日のオープンキャンパスで模擬授業を行います！"

大淵・越智研究室では、前回8月5日のオープンキャンパスに引き続き、音響処理と聴覚の技術と研究についての展示と体験を行う予定です。前回はレポート記事でも紹介されていたように、たくさんの方にお越しいただきました。

8月5日の展示の様子

今回は、前回の記事 で紹介しきれなかった展示を紹介します。

（１）　音の振動を体感しよう＆共鳴を見よう

貼り付けた物を振動させるスピーカーを使い、振動を体感できます。また、同じスピーカーを鉄板に貼り付けて共鳴させ、その様子を観察します。

円板のクラドニ図形

上図のように、円盤の下に貼り付けたスピーカーからサイン波の振動を加えると、特定の周波数のときに板が共鳴を起こし、大きく動く振動の「腹」の部分と、動かない「節」の部分ができます。色付きの砂をまくと、節のところに砂が集まります。これはクラドニ図形と呼ばれています。

四角形の鉄板の場合は、下図のように複雑な模様が生じます。左下のものから右へ向かってだんだん複雑になっていますが、それぞれ182Hz, 243Hz, 398Hz, 420Hz, …と、形状や材質で決まるその板固有の周波数（１秒間の振動数で、音の高さに対応する数、単位はHz(ヘルツ)）のときに共鳴が起こって節が観察できます。

さまざまな周波数での正方形の板のクラドニ図形

（２）　卒業研究紹介コーナー

去年の卒業生による、音の分析や合成、音が人間に及ぼす影響を調べた卒業研究を紹介しているコーナーです。音を使った研究の幅の広さを感じていただけると思います。

以上のように、8月26日にも色々な音の性質や音に関する技術、研究について体験していただるので、お越しのさいはぜひ大淵・越智研究室にお立ち寄りください。

メディア技術コース　越智