先月、タイに出張してきました。その時に滞在したホテルに写真のような象がベットにありました。大歓迎されていますね。
とっても素敵ですので、崩さないようにしたいところですが、コンピュータグラフィックスやモデリングの研究をしていますので、どうやって作っているのか、とても興味がわきました。



そこで、決心をして壊していくことにしました。

(1)ライトをきちんと当てて、形が分かるようにしました。

(2)頭の部分を触ってみたら、すぐに取れることが分かりました。

(3)頭と顔を正面から見てみます。

(4)耳の部分を展開していきます。

続きを読む "タイのホテルで見たタオルで制作された「かわいい象」の作り方　【おもしろメディア学】"

7月14日のオープンキャンパスで音の研究についての展示を行いますが、先日、オープンキャンパス展示用動画を撮影しました。これは、昨年度卒業生の工藤君による360度画像とバイノーラル録音との組み合わせについて提案する研究での知見にもとづいた展示です。

バイノーラル録音とは、人間やダミーヘッドの２つの耳部分に取り付けたマイクで録音するもので、音の耳介での反射や頭での回り込みを再現できて高い臨場感が得られます。しかし、バーチャルリアリティ（ＶＲ）などで、聞き手が頭の向きを変えたりするさいに向きの変化に対応するには非常にコストや手間がかかります。

そこで、人間の聴覚をだます形で、バイノーラルで録った環境の音（風音や雑踏のガヤガヤした音など）を録って、バイノーラルでない録音と組み合わせて手軽にコンテンツ制作をできないかと考え、実験をしています。工藤君の実験の結果をもとに、今回は大学構内でバイノーラル録音と、楽器演奏の音を録音して、360度カメラの映像と組み合わせました。

この360度画像とバイノーラル録音の研究は、現在は佐塚君がさらに発展させて継続中です。

さて、撮影ですが、演奏中にスーパーボールを飛ばしたりもしたので、どんなＶＲ映像になるでしょうか。

録画担当者と演奏者の間にスーパーボールを飛ばしています

メディア技術コース　越智

渡辺です。こんにちは。

 

最近、研究室の学生達と新しい研究を色々と進めておりまして、その中で「ゲーム理論」と呼ばれる学問がとても重要となってきました。せっかくですので、この「ゲーム理論」について不定期連載をしていきたいと思います。

 

もし「ゲーム理論」という単語を初めて見る人は、この単語からどのような内容を想像するでしょうか。おそらくは、ゲーム中のキャラクターがどのように動いていくかとかの、ゲーム内の様々な技術を総称したものと考えるのではないでしょうか？私も学生時代にこの単語を初めて目にしたときはそのような連想をしました。しかし、私の場合問題はその状況でした。というのも、この単語をはじめて聞いたのは経済学の授業の中だったのです。企業利益予測とか社会経済動向とかの説明の中で突如「ゲーム理論」という言葉がでてきて、最初は聞き間違えたかと思ってしまいました。

 

「ゲーム理論」を簡単に説明すると、複数の主体(人・企業・国)が何かしら目標を持っていて、それを達成するために各々で行動していき、その結果がどうなるのかを推測・分析するという学問です。このように抽象的に述べるとわかりづらいのですが、その典型的なものの一つが対戦型ゲームやスポーツ競技です。ババ抜きや七並べなどのトランプゲーム、あるいはテニスやマラソンなどがそれにあたります。これらのゲームやスポーツでは、ルールに従って勝利条件が定められ、勝利を目指してプレイヤーや選手が様々な方針で挑みます。ルールや条件を変えてみると、企業間の利益競争とか、国同士の発展も同じような法則を持つので、これを理論化したものが「ゲーム理論」というわけです。

 

続きを読む "ゲーム理論とゲームについて(1) ゲーム理論の紹介"

メディア技術コースの越智です。次回（7月14日（日））開催のオープンキャンパスで、大淵・越智研究室は音・声の研究についての展示を行います。メディア学部の研究室の展示は片柳研究所と研究棟Ｃの二か所で行われますが、大淵・越智研究室の展示会場は研究棟C3階の号室です。今回はその内容を紹介したいと思います。

（１）音の振動を体感する・可視化する

物を振動させるスピーカーの音を聞いて、触って音の発生を体感します。また、声や音の共鳴を可視化してさらに理解を深めます。

（２）音響処理を体験する

世界のコンサートホール・地下駐車場・倉庫など、さまざまな空間での音の響きを音響信号処理により計算して聞き比べることで、音響信号処理の基礎を体験していただきます。

（３）バイノーラル録音で高臨場感を体験する

二つのマイクで録音するステレオ録音は広く使われていますが、人間の耳への音の届き方（肩や耳たぶでの反射や頭を回り込む音など）は再現できません。ここでは、バイノーラル録音という技術により、臨場感が高いコンテンツを体感して録音技術の奥の深さを体験していただきます。

（４）音楽ライブのための、プログラミング・AI・音楽を融合したパフォーマンス

音楽ライブの演奏の進化版として、プログラミングやＡＩを駆使したライブ演奏についての研究を紹介します。ライブパフォーマンスの可能性をぜひご覧ください。

他にも、これまでの研究室の卒業研究の成果を展示しています。7月14日のオープンキャンパスにお越しの際はぜひ大淵・越智研究室にお立ち寄りください。

技術コース　越智

 昨年後期、大淵・越智研究室の講義先端メディアゼミナール「ＡＩと音響分析」で、研究室で天ぷらを揚げてその音を分析するという、お料理音響実験を行いました。その結果は、3月の記事で報告があったように、学会（芸術科学フォーラム）で発表して見事受賞しました。その内容について、今回は紹介したいと思います。

天ぷらは、以下の図のように、揚げ始めと出来上がりで音が違うことが、経験的に言われていました。それを今回科学的に調べたのです。

 

音は一定時間ごとに区切ったうえで、以前先端メディア学で行われたコイン当て実験のように、音の大きさや音色、高さに関係する物理量が抽出されます。それと答え（揚がったかどうか）をＡＩに学習させて、新しい音を入力したときに揚がったかどうか判別させます。

この研究は現在精度などを挙げるべくＡＩの改良中です。

また、今学期は新しく、輪ゴムを弦に見立てた楽器の音の研究をしています。

羽田先生のアドバイスのもと、クギなどを使ってオリジナルの自動輪ゴム演奏機械が制作されました。

現在目下分析中です。天ぷらと一緒に発表があった鉛筆の筆記音の研究もそうですが、音の研究は本当に幅が広いですね。

メディア技術コース　越智

音について研究を行っている大淵・越智研究室では、学生自身が企画した、研究等の紹介と意見交換の会が毎週開かれていて、研究のアイデアが活発に出てくる場になっています。

二年半前に大学院生（当時、昨年大学院修了）の大谷君により「知の発見」と名付けられて開始し、調査した論文、イベントや学会参加、新しい音響機器など、おもしろいと思ったことを各自が持ち寄って共有しています。教員も参加することがありますが、学生主体で自由参加で開かれています。現在は、大学院生の松井君が大谷君を引き継ぎ、中心となって開催しています。

2年生でニコニコ学会βというイベントのボランティアスタッフをした大谷君は、初めて研究発表形式の講演を聞いてとても面白いと思ったそうです。研究に関心を持って大学院進学をするきっかけにもなったそうです。大谷君は、さらに、同じような会を自分もやってみたいと思いました。毎週開催できるように、参加者各自の研究報告に限定せずに、興味を持った国内外の研究論文を広く紹介する会にしようと企画しました。当時大淵研は新しい研究室だったので、自分たちが新しくて面白い文化を作ろうと思い立ったのです。その後、共有内容を論文に限定せずに広く興味を持ったイベント・技術・機器などに広げて現在の「知の発見」という形にして、今は10名前後の有志で毎週続く会になっています。

それでは、今までどんな内容が発表されたか、少し紹介していきます。

（１）論文紹介：ＡＩで好きな曲をダンスゲームにする　[1]

音楽に合わせてダンスをするゲーム(Dance Dance Revolution)のダンスステップの指示を、好きな曲から自動生成するという研究です。機械学習の手法である、再帰型ニューラルネットワーク(Reccurent Neural Network: RNN)や畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)などと、音響特徴量の分析を組み合わせています。音響特徴量とは、音楽中にどの周波数（高さに相当する物理量）の音がどの程度の強さで含まれているかなどです。既存の曲とそれに対するステップの指示の譜面のセットから機械学習を行って、未知の曲が与えられた時にもステップの指示を生成できるようにします。これは福永君の、キー音のあるリズムアクションゲームの自動生成の研究のアイデアの生まれるきっかけになりました。

（２）論文紹介：鳥の鳴き声の自動検出 [2]

この研究は、自然環境の中で録音したデータから鳥の鳴き声がいつ録音されたかを取り出すというもので、その技術の精度について世界中で競い合う大会が行われているということが「知の発見」で共有されました。環境や野生動物の観察のため、野山にカメラやマイクを設置して長時間映像と音声を記録するということは、実は世界中で行われています。そのとき大変になるのが、どの時刻に何が（例えば鳥が鳴いた、など）起こったかということを書きだすこと（アノテーション）です。長時間の録画・録音のため、人手で行うのには非常に手間がかかるので、自動的に鳥の声などを検出できるようになることは、上記の分野に大変に役立ちます。この研究紹介の共有は、昨年鳥の鳴き声の研究をしたS君の研究のヒントになりました。

 ちなみに、工科大では現在、上の写真のようなハクセキレイ（上）やツバメ（下）といったさまざまな鳥が見られます。夜は裏の森の中から「ホーホーホー」という鳴き声も聞こえますよ。工科大で鳥の声を録音してみても興味深い結果が観察されるかもしれませんね。

他にも楽しい研究紹介・イベント紹介があり、学生の新たな研究のアイデアに繋がったものがあるので、また次回に紹介したいと思います。

メディア技術コース　越智

参考文献：

[1] Donahue, C., Lipton, Z. C., & McAuley, J. (2017, August). Dance dance convolution. In Proceedings of the 34th International Conference on Machine Learning-Volume 70 (pp. 1039-1048). JMLR. org.

[2] Stowell, D., Wood, M., Stylianou, Y., & Glotin, H. (2016, September). Bird detection in audio: a survey and a challenge. In 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP) (pp. 1-6). IEEE.

メディア学部の大淵です。

 

先日の「音響コミュニケーション論」では、独立成分分析という手法を紹介しました。この手法を使うと、例えば複数の楽器を演奏している音を複数のマイクで録音すると、それぞれの楽器の音を取りだすことができたりします。この手法の鍵となるのが「独立性」という概念なのですが、これがなかなか難しい概念で、数学が苦手な人にこれをどうやってわかってもらうかが、悩みどころです。

 

悩んだ末に、こんな例を考えてみました。まずは以下の表を見てください。

 

A	3	1	3	1	1	1	3	2	1	2	3	2	2	2	1	1	1	3	1	3	1	3	2	1	2	3	1	1	1	2
B	3	4	2	1	4	4	2	3	1	3	3	2	3	2	4	4	1	2	1	3	4	3	2	1	2	3	4	1	1	2

 

あるカジノに、1から4のどれかが出るルーレットがあるとします。上の表のA行は、ディーラーが「今から○の目を出しますよ～」と言って宣言した数字です。そしてB行は実際に出た数字です。さて、A行とB行には何らかの関係があるでしょうか？

 

少し統計学を学んだことがある人は、こういうときに、A行とB行の相関係数を求めます。Excelでも簡単に計算できますが、やってみると0.037というとても小さな値になりました。だから関係は無い、と結論付けた人は、残念ながらこのギャンブルには勝てません。

 

もう少し注意深い人は、上の表をよく見ると、AとBの間の関係性に気付くはずです。例えばディーラーが1と言ったときには、ルーレットの目は1か4のどちらかです。他の数字でも同じような関係があります。この関係に気付いた人にとっては、ディーラーの宣言を聞くことはとても有益です。2回に1回は当たるはずですから、仮に当たりのオッズが4倍だとすると、ボロ儲けですね。

 

こんなふうに、片方の値の予想をしたいときに、もう片方の値が役に立つかどうかというのが、独立性の定義です(役に立たないときが独立、役に立つときは独立では無い)。そして、取り出した2つの音の独立性を計算できるようになると、独立成分分析による音の分離が可能になるというわけです。

 

鶴田です。

オープンデータとは、著作権や特許などに関わらずに利用できるように公開されたデータです*1。政府が収集した人口とか経済活動のデータ、研究機関や博物館などが公開している科学的なデータが含まれます。

以前の記事では大英博物館が公開している彫刻などの3Dデータ（https://sketchfab.com/britishmuseum）を紹介しましたが、今日は縄文土器の紹介です。

新潟県長岡市が公開しているのは火焔土器(火焔型土器)の3Dスキャンデータ(http://jomon-supporters.jp/open-source/)です。形が燃え上がる炎に似ていたことからこのような名前になったそうです。有機的ですがパターンがあるような気もするし、面白いですね。

ダウンロードしてレンダリングしてみました↑

こうしたデータを活用すると新しい研究のアイデアができたり、作品や商品を通して文化財への関心を集めることができるかもしれません。メッシュがとても細かいので（頂点数は2,516,568個でした！）ゲームなどに利用するにはデータを加工する必要がありそうです。

*1 当然ですが、利用した作品などを公開する場合は出典を明記しましょう

先日、国立西洋美術館の絵画の紹介をするときに、著作権の関係で写真撮影した画像がこのブログ記事に掲載できませんでした。著作権のために掲載できないとあきらめていてはいけない例として、教科書の執筆における画像の掲載があります。

メディア学部では、コロナ社からメディア学大系シリーズを出版しており、私も3冊ほど共著で執筆をしています。そのなかで、「視聴覚メディア」において、画像や映像の表現と理解について説明する時に、モーションブラーのことを書きました。

CG分野においては、1984年にCookらが　Motion Blurと名付けて、写実的なCG表現にBlur(ブラー）の効果を提案しています。この手法は、その後多くの研究者に引用されています。そこで私もこの画像を引用して動きの表現と理解について説明しようと考えました。まず、1984年の論文の著者たちの連絡先を確認するために、国内の知り合いの先生などに伺ったりして、メールアドレスを確認しました。

研究者への連絡はお互いにメールで行うことも多く、私も著者の一人であるCook先生に、教科書に画像を掲載したいことを伝えました。すると、驚くことに、この画像の著作権管理は、Pixar Animation Studiosがおこなっているとのことで、Chief Legal Counsel，Business Strategyに連絡するように書かれていました。そこで、さっそく指定されて方へ連絡をしました。

返事がきました。教科書で利用するというので利用条件を知らせるように連絡がありました。そこで、教科書をコロナ社から出版するということで、モーションブラーの画像は、その教科書で利用すると伝えたところ、　「Permission Agreement」を送ってきました。費用を要求されるかと思いましたが、教科書が完成したら、送るようにとのこと以外は、費用負担はありませんでした。それどころか、ネットで見つけた低解像度の画像ではなく、Pixarで管理している画像データを送るので、サインして書類を返送するように書かれていました。

そのなかで、「Permission Agreement」の最初の一部を次に示します。

 

画像はカラーでしたので、本文に白黒で掲載するだけでなく、口絵でカラー画像を掲載しています。一つの画像の掲載許可を得るために、このようなことが必要であることをメディア学部の学生にはぜひ知っておいてほしいです。

どんな画像かは、この記事では、公開できませんので、ぜひ「視聴覚メディア」をご覧ください。または、「Distributed Ray Tracing Cook」で画像検索してください。

 

参考文献
1．Robert L. Cook,Thomas Porter,Loren Carpenter， Distributed Ray Tracing,SIGGRAPH Computer Graphics Volume 18, Number 3,pp.137-145 July 1984

2．「視聴覚メディア」：コロナ社メディア学大系第15巻の発行 2017年5月 6日

3．本を執筆するために：「視聴覚メディア，メディア学大系，コロナ社」に関するブログ記事 2017年5月13日

 

大学院メディアサイエンス専攻　近藤邦雄

続きを読む "PIXARから著作権の許可を得た経験談：Motion Blurの画像"

技術コースの羽田です．

今日はインターネットの言葉について書いてみようかとおもいます．

 

ホームページと言われてみなさんは何を思い出すでしょうか？

インターネットに接続してブラウザで表示する画面はみな「ホームページ」だという人が多いかもしれません．ところがこのホームページという言葉の歴史はWorld Wide Web(WWW)がインターネットで普及しだした頃にはすこし違ったものでした．

図はいま世の中で一番多く使われているGoogleChromeの画面です．画面の上のほうのアドレスの表示されているのと同じ列，並んだボタンの左から4番目に家の形をしたマークのものがあります．これがホームボタンで，ここを押すと表示されるページがもともと「ホームページ」だったのです．このページはブラウザを立ち上げたときに最初に表示されるページでもあることがほとんどです．

 

 

続きを読む "ホームページの昔話"