後期の先端メディアゼミナールのテーマ「ＡＩと音響分析」（担当：大淵先生、2年生対象。筆者（越智）もサポート役として参加しています。）では、前期に引き続き、日常の音を対象として、機械学習を活用してさまざまな問題を解こうという研究に挑んでいます。前期は、機械学習によって鉛筆の筆記音から鉛筆がの先が尖っているか丸まっているか識別したり、足音から歩いた場所や歩いている人を識別する課題などに取り組みました。

後期に入って、まず第1週目に今学期はどういう研究課題に取り組もうかと議論しました。そのとき受講生から、天ぷらを揚げる音はプロが聞くと揚がったかどうかがはっきり分かるそうなので、それを研究してはどうか、という案が挙がりました。すると、大淵先生が意外にも「いいね、ぜひやってみよう」と言い、実現することになりました。つまり、揚がり具合を音からAIで判定しようという試みです。

第2週は、研究室に電気フライヤーを持ち込んで実験の開始です。機械学習を行うには学習にデータが必要で、その後学習の結果できたＡＩの性能を評価するには、評価用データも必要になります。これらのデータは実際に音を録音することで収集し、1個1個が学習・評価どちらに使われるかはランダムに振り分けることになります。そういうわけで、実際に天ぷらを揚げる録音実験を行う必要があるのです。

実験準備。野菜を切ります。

録音マイク付き小型カメラをセットします。

料理好きの4年生が様子を見に来ました。

続きを読む "お料理音響学実験：おいしい天ぷらの作り方？"

今回は、メディア基礎演習のテーマの一つで私と他3名の教員が授業を担当する「デジタルコンテンツを知る」（竹島先生担当）が先週からスタートしたので、その紹介をします。

この演習テーマは、3週にわたって実際にデジタル音声・画像・映像処理や編集をしながらデジタルコンテンツの基礎について知ろうというもので、今年度の新1年生から初めて開始されました。これまで、第1・第2週の回を終えました。

第1回：音について

まず、基礎知識として、音圧波形を表したアナログ信号をデジタル信号に変換してデジタル処理をすることについて前期の復習をし、デジタル信号の性質を確認しました。

その後、自分の声や物音を録音してから、音の編集ソフトAudacityを活用して音の編集を体験しました。下図のように音楽（上トラック）などに自分で録音した音（中・下トラック）を繰り返し追加してリズムを作り、ミキシング（混ぜ合わせる作業）を行いました。また、新しい音を音響合成によって作る作業もしました。

最後に、皆が作った音を流して鑑賞会をしました。とても凝った音楽的な作品や、開始部分で盛り上がって惹きつけるようにするなど構成が練られた作品や、声や音にエフェクトをかけておもしろい音にしてミックスした作品などがあり、ミキシングとひとことで言っても色んな工夫の仕方があるのを発見しながら聞くことができました。

作品の波形の例

続きを読む "メディア基礎演習Ⅰ～デジタルコンテンツを知る～スタート"

　スクウェア・エニックス、ドワンゴなどがメディア学部の講義を行います。本日開講の「メディア特別講義Ⅰ」（シラバス）は、ゲーム・CG技術・広告の業界で著名な企業から毎週講師を招き、最前線の技術や作品制作、広告制作について話していただきます。

続きを読む "本日開講！ メディア特別講義Ⅰの授業紹介"

メディア学部の三上です．

2018年8月27日から28日にかけて実施された，「ISART-TUT Game Jam」の続報です．

ISART-TUT Game Jamでは，途中にマイルストーンとして企画発表やアルファ版，ベータ版の発表時間を定めています．

こうすることで32時間の開発時間にメリハリをつけつつ，どんなことが行われているのか確認したり，修正したりすることも可能になっています．

ISART-TUT Game Jam その1

続きを読む "ISART TUT Game Jam　その2"

メディア学部の三上です

バンドン工科大学とのゲームデザインワークショップ，初日はインドネシアと日本の先生による基調講演からスタートしました．

私のほうからはゲームの企画に関するレクチャーを英語で行いました．

その後，チームに分かれてゲームの企画会議がスタートしました．

続きを読む "インドネシアの提携校バンドン工科大学でのワークショップ(2）"

こんにちは、メディア学部の藤澤です。

昨年度から東京工科大学では全学的に人工知能の活用に関する研究に力を入れています。メディア学部でもメディアAI分科会を立ち上げてメディアに関わる研究でどのような活用ができるか、情報を共有しながら研究を進めています。

このような中で現在、メディア学部の太田先生と一緒にすすめ、先端メディアゼミナールの中で進めている研究を紹介します。これまで太田先生はマイクロソフト社のKinect（キネクト）を用いて喫煙状態を検出してサイネージなどで受動喫煙を防止する広告を流す試みを行う研究を勧めていました。

Kinectが2017年に精算終了したことを受け、代わりになる技術としてOpenPoseを利用して同様のことができないか、実験してきました。OpenPoseはCMUで開発された、画像（動画）から人工知能技術の一つであるDeepLearningを用いて人の骨格を検出する仕組みです。特徴としては、通常の画像やWebカメラからの動画からリアルタイムに骨格を検出できます。CPUだけの処理だと2～3fpsと非常に遅いですが、GPUを使うことで15～30ｆｐｓでの検出が可能になりなります。これらの検出にKinectで必要だったキャリブレーションは不要です。もう一つの特徴として、複数の人の骨格を同時に検出することができます。

これにより、複数いる喫煙者をまとめて検出することができるようになりました。

6人の骨格を検出しそのうち4人の喫煙を検出した様子

現状では、非喫煙状態を喫煙状態として検出するなどの誤検出もあるので、今後、改善を進めていきます。

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

開催間近の案内となりますが，8月26日（日）のオープンキャンパス（詳細はこちらから）で模擬授業を担当いたします．

模擬授業は「最新 CG 映像の作り方」と題して，CG 映像の基本的な理論と制作手法を解説しながら，皆様が日頃様々なコンテンツで目にしている最新の CG 映像がどのようにして制作されているのかを紹介します．

前回のオープンキャンパスでの模擬授業の様子（2018,07,15）

続きを読む "8月26日のオープンキャンパスで模擬授業を行います！"

メディア学部の専門演習科目であるタンジブルインタラクションデザインでは

電子工作を中心に，「動きのある作品」を作る技術を学んでいます．

電子回路の基本となるオームの法則からはじめ，回路のはんだ付け，

などからはじまり(前回記事） 最終的にはそれぞれのアイデアによる作品を作りました．

続きを読む "タンジブルインタラクションデザイン最終発表"

2018年6月28日に　Matthew Steidl (マシュー・スタイドル)氏によるAn Introduction to Hollywood Visual Effects Production Methodologies[ハリウッド視覚効果の制作技術の紹介]の講演会が行われました．

ハリウッドのアニメーターによる視覚効果の制作技術の講演会  2018年6月25日

http://blog.media.teu.ac.jp/2018/06/post-f5aa.html

この講義では，前半ではマシュー氏の中学，高校時代のことから南カリフォルニア大学でアニメーションを学ぶことまでをまず紹介していただきました．大学院に進学してから，ワインバーグ先生に会って，USCKIプロジェクトのことを知り，本学へ来たり，東京アニメフェアに参加したりした経験を紹介してくれました．

そして，いくつかのプロダクションでアニメ制作，VFXなどの仕事をしたり，フリーランスになってさらに映像制作にかかわってきたことなどを経て，現在の仕事をしているとのことを具体的に話をしてもらいました．このような仕事を通じて，TV番組やVFXを担当したりしたことを作品を紹介しながら話をしてもらいました．EXTANTという作品では，日本の俳優である真田広之氏のCGモデルを制作したということでした．これらの経験から大きな会社ではスペシャリストが求められ，小さな会社ではジェネラリストが必要であるとのことでした．

続きを読む "ハリウッドのアニメーターによる講演会が行われる．"

皆さん、こんにちは。

メディア学部の寺澤です。

今日はメディア専門演習の「ユーザー体験価値デザイン」というテーマについて紹介します。今回の記事はこの演習のSAの園部由美子さんに書いていただきました。園部さんは少し前のこちらの記事で紹介されています。

（ここから）

専門演習科目のひとつである「ユーザー体験価値デザイン（UXD : User eXperience Design）」 では、ソニーのMESHを用いて新規性のある楽しさを追求したコト作りに取り組みます。この演習では、私たちが普段感じているモノの使いにくさや、「こうだったらいいのに」というアイデアをすぐにタブレットとMESHで形にしていくことができるため、とてもワクワク感があり制作者（受講生）自身も楽しみながら行っています。

まずはグループごとにRICHO THETA 360度カメラを持って学外に行き、社会にある様々なモノや場所のターゲットユーザーを考慮した課題発見を行います。それらを踏まえてアイデアを出し合い、MESHを用いたプロトタイプ作品を1週間で作り上げます。

続きを読む "メディア専門演習「ユーザー体験価値デザイン」の紹介（7月15日OCに出展します！）"