情報処理学会のシンポジウムの一つであるインタラクション2020において，本研究室修士2年生の小野龍一君がインタラクティブ発表賞（PC推薦）ならびにインタラクティブ発表賞（一般投票）の2部門での受賞を果たしました．

インタラクションは２０年以上の歴史を持つ情報処理学会の中でも大きなシンポジウムであり，今年は２０件の登壇発表と223件のインタラクティブ発表（デモやポスター展示）がありました．

コンピュータの新しい操作方法について考えるデモを重視した学会ではありますが，新型コロナウイルスの影響でこの学会も急遽オンライン開催となり，インターネットを介しての参加や発表が行われることとなりました．

小野君の研究のタイトルは「振動モーターによる擬似的なボケの生成と被写界深度変化への応用」というもので，肉眼において，マクロレンズや望遠レンズで撮影したように，被写界深度の浅いいわゆるボケのある映像を見ることができるというシステムです．

振動モーターを用いて，物体を細かく振動させることでブレて輪郭がはっきりしなくなります．この効果を平面上の特定の場にある物体のみに適用することで，レンズのピントがあっていないいわゆるボケのような状態をカメラなどを使わない肉眼でも再現することができるシステムです．

今回のデモでは小さなジオラマを準備し，その一部をボケさせることで肉眼であってもマクロレンズを使って撮影したような一部のみにピントのあった像を見ることができるシステムを構築しました．

図の(a)は人間の目で直接見た場合のジオラマの様子ですが，振動をコントロールすることによって(B) のように真ん中のカウボーイのいる部分以外はボケてみえるようになります．この効果を写真で撮影したときだけではなく，レンズを通さない肉眼でもはっきりと感じることができるのがこの装置の面白いところになります．

レンズを通さずにレンズのような効果が体験できることが最大の売りである本システムを，カメラを通じてのプレゼンテーションで魅をを伝えることになってしまったのですが，事前の準備を充分にやった成果もあり，二つの賞に選ばれることになりました．

223件のインタラクティブ発表は3日にわけて発表がおこなわれ，毎日70件ほどの発表が行われます．

一般投票賞はこれを見た参加者の投票よよって決められる賞で，もっとも人気のある楽しかった研究といった意味合いがあるかと思います．

こちらは例年1日あたり3件程度が目安となっています．

また，PC推薦というのはプログラム委員のメンバーがあらかじめ選択した研究の発をを見た中で賞を決定するものです．

見た目の楽しさだけではなく研究内容も問われるもので三日間すべての223件の発表の中から，7件が選ばれました．

今後はさらに発展させることで，より細かな制御やボケ映像の定量化などをやっていきたいと思っています．

コロナウイルスの落ち着いたころ，オープンキャンパスでは展示をしたいと思いますのでその時はぜひ見にきてください．

(羽田久一)

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

さて本日のブログは，「令和元年度芸術科学会東北支部大会」での研究発表紹介・第６弾です．

本日ご紹介するのは，「日本城郭のプロシージャルモデリング [1]」です．


図．研究発表中の三浦君


本研究では，日本の建築物の中でも「城郭」を対象としたプロシージャルモデリングの手法を提案しました．
日本城郭は戦国ドラマ，映画，およびゲームなどのエンターテインメントコンテンツに数多く登場します．日本で作成されるコンテンツだけでなく，海外のコンテンツでも頻繁に登場する特徴的な建築物です．
日本城郭は近代建築物とは異なり，独自の特徴を多く有しています．そのため，モデリングを行う際には日本城郭の基本的な知識が必須となり， さらにその上で複数のパターンを作成しなければならない場合はモデラーに多大なる負荷を要求することになります．

本研究で提案する日本城郭のプロシージャルモデリング手法によって，城郭に関する知識を有せずともモデルを作製することが可能となり，映像業界，ゲーム業界といった様々なコンテンツへの利用が可能となります．


図．日本城郭のプロシージャルモデリング例


以下のリンク先より，令和元年度芸術科学会東北支部大会発表報告その１からその５までをご覧いただけますので，
お時間のある時にでも目を通していただけると光栄です．

●令和元年度芸術科学会東北支部大会・発表報告（その１）
●令和元年度芸術科学会東北支部大会・発表報告（その２）
●令和元年度芸術科学会東北支部大会・発表報告（その３）
●令和元年度芸術科学会東北支部大会・発表報告（その４）
●令和元年度芸術科学会東北支部大会・発表報告（その５）

[1] 三浦嘉大，伊藤智也，菊池 司，”日本城郭のプロシージャルモデリング ”，令和元年度芸術科学会東北支部大会，講演セッション，01-09，2020．


文責：菊池 司

メディア学部の三上です．

東京工科大学はコロナウィルスの影響もあり，卒業式の式典は中止で学位記を研究室ごとに授与するだけとなってしまいましたが，そこで歴史的な出来事がありましたので報告します．

そう，「神様が博士になったのです」．

神様とは，「ゲームの神様」と称される，遠藤雅伸さん．代表作「ゼビウス」や「ドルアーガ―の塔」など，我々の世代では誰もが一度は名前を聞いたことがある作品かと思います．中でも「ゼビウス」は現在ゲーム業界でも話題になる「メタAI」と呼ばれる技術をいち早く取り入れた作品で，最新の論文でも数多く引用されています．

そんな遠藤さんと知り合ったのは，2011年のCEDEC運営委員会に参加してからです．一緒に「ペラコン」を立ち上げていく中で，産業界の中で大変な実績を残された方でありながら，探求心や向学心も併せ持っていました．私のような若者にも気さくにいろいろなお話をしてくれました．欧米のゲーム研究者が自分の作品を間違った解釈していることに立腹されている姿が特に印象的でした．それなら自分のきちんと研究者になって，当時の開発者として，きちんとした理論などを科学的に明らかにしていきたいということで，学位取得を目指されました．

すでに東京工芸大学の教授に就任されており，実務家教員としては大変高いレベルにあった遠藤さんですが，2014年から本学大学院に進学したいと申し出がありました．実はこの裏に「Dの食卓」の飯野賢治さん（故人）が少し絡むのですが，それはまた別の機会に・・・．

当初は，産業界での実績もあるので博士課程からの入学の可能性もありましたが，研究手法をきちんと学びたいということで，修士課程に入学し，その後博士課程に進学しました．

私も社会人大学院生として，修士課程，博士課程に在籍したため，そのメリットと苦労を両方身をもって体験しております．そんな大変な状況の中，着々と研究実績を生まれていきました．中でも芸術科学会で出版されたジャーナル論文は，年度の優秀論文賞を受賞しました．また，ご自身が研究するだけでなく，東京工芸大学の遠藤研究室の学生たちの研究成果も興味深いものが多く，たくさんの若い研究者，開発者に私が刺激を受けることが多くなりました．

 

2020年3月，論文誌論文2本（うち1本は出版待ち），著書1件，国際会議査読付き2件と，十分な実績とともに東京工科大学大学院バイオ・情報メディア研究科，メディアサイエンス専攻にて「博士（工学）」を授与されました．

 

 

人はいくつになっても研究できることと，産業界や現場で積み上げてきた実績を後世に再現可能な形で残すという，大変素晴らしい実例を示してくれました．

私は，海外の学生や社会人大学院生を広く受け入れるようにしています．それには，私の師匠であった金子滿先生（故人）が本学の大学院立ち上げの時に，モンキーパンチさん（故人），おおすみ正秋さんらのアニメ業界の巨匠たちを受け入れ，彼らの知見を最大限に生かしながら一緒に研究してきた姿が大きく影響しています．また，3月31日で定年退職された近藤邦雄先生の世界中に友達を作る精神も大きく影響していると思います．

私の関連するテーマで現在現場で活躍の皆様，もし，大学院進学などに興味があったらぜひお声掛けください．

 

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．
現在，日本では新型コロナウィルスの影響が様々なところに出ております．
皆様の平穏な日常が一刻も早く戻りますように，心からお祈り申し上げます．

さて本日のブログは，この新型コロナウィルスが日本で猛威を振るう以前に開催された
「令和元年度芸術科学会東北支部大会」での研究発表紹介・第5弾です．

本日ご紹介するのは，「Neural Responsive Art : BCI を用いたジェネラティブアートに関する研究 [1]」です．


図．研究発表中の佐藤君


この研究では，脳からリアルタイムで得られるデータに注目し，脳波データから得られるパタメータを利用して circle や square, triangle のような図形の色や形をパタメータにより変形させ，被験者だけの「そのときの絵」を生成しました．
今後は，HMD（Head Mounted Display）を用いた VR への応用や，画像生成だけでなくインスタレーションのような空間演出への応用などを検討しています．

以下のリンク先より，令和元年度芸術科学会東北支部大会発表報告その１からその４までをご覧いただけますので，
お時間のある時にでも目を通していただけると光栄です．

●令和元年度芸術科学会東北支部大会・発表報告（その１）
●令和元年度芸術科学会東北支部大会・発表報告（その２）
●令和元年度芸術科学会東北支部大会・発表報告（その３）
●令和元年度芸術科学会東北支部大会・発表報告（その４）

[1] 佐藤佑哉，伊藤智也，菊池 司，”Neural Responsive Art : BCI を用いたジェネラティブアートに関する研究”，令和元年度芸術科学会東北支部大会，講演セッション，01-08，2020．


文責：菊池 司

渡辺です。みなさんこんにちは。

以前の記事で隠岐にて学会発表を行ったことを掲載しましたが、今回は隠岐の土地や観光について述べたいと思います。

私も実際に訪れるまで、「隠岐」は「島根県の北にある離島」という程度の認識だったのですが、実際は「隠岐諸島」と呼ばれる大きく4島によって構成されている諸島のことを指します。4島のうち、抜きんでて大きな北東部にある島を「島後」、その他の3島を「島前」と地元の人達は呼んでいます。今回我々が訪ねたのは島後でした。

公共交通機関はほぼ存在していないため、レンタカーを借りて島内を移動していたのですが、正直来訪するまでは小さな島を想像しており、車なら十分程度で島内のどこにでも移動できるように考えていました。しかし実際の隠岐はもっと巨大で、島後だけでも八王子市と町田市を合わせたくらいの面積があります。それくらいの広さになると、車を使っても結構な時間がかかります。なんと島内にはダムもあるのです。観光しながら周回するとなると、1日ではほぼ不可能です。島後だけでもこの様子なので、島前の3島も全部まわろうと思ったら一週間くらいはかかるのではないでしょうか。

隠岐の海岸は岸壁となっている箇所が多く、大変見応えがあります。また、海辺にはまったく生臭さがなかったことも印象的でした。

以下は那久岬(なぐみさき)という所にある灯台とその周辺の写真です。この周辺の雰囲気は、まるで某RPGのフィールドを彷彿とさせます。

先にも述べましたが、隠岐は離島でありながらそれなりに山林もあり、もっとも標高が高い箇所は600メートルにもなります。以下は「壇鏡(だんぎょう)の滝」の写真です。この滝は日本の滝百選ならにび日本名水百選に選ばれているところで、写真ではわかりづらいのですが大変雄大な景色でした。

以下は「油井(ゆい)の池」という池の写真です。湿地性の植物や希少な昆虫類などの生態系がそのまま保存されています。池周辺の木道が大変良い味を出しています。

以下は、玉若酢命神社の八百杉というご神木の写真です。島根県で最大の杉の木だそうで、樹齢はなんと二千年(!)を超えると言われています。

今回は島後にしか行けなかったのですが、是非島前の方もいつか行ってみたいですね。

(メディア学部准教授 渡辺大地)

 

メディア学部の大淵です。

2月の5日から7日まで、アイルランドのリムリックで開催された、Interanational Conference on Live Codingに参加してきました。

ライブコーディングというのは、ステージ上でプログラムコードを書き、それがリアルタイムで音楽や映像を生み出していくというパフォーマンススタイルのことです。この学会は、小規模ながらも世界トップレベルのコーダーたちが集まり、研究発表とパフォーマンスを行うイベントです。そして私の研究室からは、大学院修士1年の松井啓生さんが発表者兼パフォーマーとして参加しました。

工学系の一般的な学会は、基調講演と一般講演(口頭発表とポスター発表)、デモ発表、パネルディスカッションなどからなるプログラムを朝から夕方まで実施します。あとは夜に懇親会があるぐらいですが、この学会は夜の部も充実しています。初日と2日目は一般講演と同じ場所で"Evening Concert"が行われ、さらに最終日の夜には、街中のバーを貸し切り、"Algorave"と呼ばれるセッションを深夜まで行うのです。下の写真は、左から順に、初日夜のEvening Concert、3日目朝のポスター発表、3日目夜のAlgoraveの様子です。

松井さんの研究は、このライブコーディングの世界に、機械学習を使った映像の自動生成技術を持ち込むという意欲的なものです。それをポスターセッションで発表するだけでなく、Evening ConcertとAlgoraveでの実演でも披露してみせたのです。結果として、発表も実演も大好評で、わが研究室としても、新しい分野に一歩踏み出せたかなという気がしました。

　大学院メディアサイエンス専攻修士1年の佐藤葵くんが、情報処理学会第82回全国大会で学生奨励賞を受賞しました。昨日紹介した白崎くんとともに、同じ研究室からダブル受賞です。
　
　佐藤葵, 戀津魁, 柿本正憲, 複眼構造に基づく昆虫の視覚推定, 情報処理学会第82回全国大会, 学生セッション, 6P-08, 2020年3月7日
　
　メディアサイエンス専攻としては一風変わった研究です。佐藤くんは虫が大好きで、何か昆虫に関するテーマを研究したいという希望がありました。議論の末、私が専門としているCG、特に特殊な条件の視覚での見え方の研究をやってみようということで取り組みました。
　
　昆虫の眼で世界がどんな風に見えているかを理論立てて考え、実際に画像として提示する研究です。昆虫は、多数の小さな個眼が敷き詰められた、複眼と呼ばれる眼で世界を見ています。しばしば、たくさんの小さな像が敷き詰められたような見え方として説明されることが多いのですが、実はこれは完全な間違いです。
　
　個眼一つで像を結ぶわけではありません。個眼一つからは視神経が一本しか出ていません。つまり個眼は一画素の色しか取り込めないのです。その事実に基づき、さらに個眼の視野角を考えることで、面白い現象がわかりました。
　
　それは、昆虫は、粗い画像ながらも遠くはぼんやりと、近くはより鮮明に見えているということです。特殊なカメラ（Intel Realsense）を用いて、各画素の距離データも得られる実験用画像を用意しました。この画像を入力データとし、今回考案した手法で処理をした結果が以下の画像です。
　

     左から元画像、距離画像（明るいほど近い）、昆虫の見え方の推定画像

　
　花が近づくにつれてより鮮明に見えることがわかります。今後は、精密な昆虫の複眼の構造を反映させ、より正確な見え方を示すことを目指します。
　
メディア学部　柿本正憲

 

　メディア学部4年の白崎悠斗くんが、情報処理学会での下記の発表で学生奨励賞を受賞しました。
　
　白崎悠斗, 戀津 魁, 柿本正憲, シルエット画像に基づく手影絵用の手姿勢生成, 情報処理学会第82回全国大会, 学生セッション, 7ZF-01, 2020年3月7日
　
　情報処理学会の第82回全国大会は3月5日～7日に開催されました。石川県の金沢工業大学が会場の予定でしたが、新型コロナウィルス感染防止のため、急きょ、前代未聞のオンライン会議での開催となりました。
　
　白崎くんの研究では、任意の物体の画像に対して、手影絵でその物体を表現するための手の形を3D CGモデルで提示してくれるシステムを考案し、プログラムとして実装して実験しました。
　
　卒業研究の一テーマとして、アイディアからプログラム作成まで自前で作り上げたものです。しっかりとした手法を考えるために、まずは単純な条件として片手だけで物体の形に似せることを試みました。粗削りではありますが、いろいろな物体の影絵を手で表現するシステムができました。
　

　この発表のセッションでは8件の学生発表があり、セッション終了時に座長が2件の学生奨励賞を選考しその場で授賞となりました。
　
　今後、後輩の卒研生に引き継いで、両手で本格的な手影絵を簡単に考案できるようなシステムにしていきたいです。
　
メディア学部　柿本正憲

 

さる2月3日（月）に「ミュージック・アナリシス＆クリエイション」研究室の卒業研究発表会を開催しました。



本研究室は例年、上の写真のようにポスター形式で実施しており、今回は最終発表11名、中間発表1名の計12名が、それぞれ研究内容をまとめたポスターを前に説明を行いました。以下は研究テーマの一覧です。

　　１）『beatmaniaⅡDX』収録曲の特徴とゲーム性に関する研究
　　　　　〜「kors k」及び「Ryu☆」の楽曲を中心に〜」
　　２）「乃木坂46の楽曲の分析 ～発売時期に見る作曲・編曲の特徴～」
　　３）「日本におけるジャズの受容と変容の研究
　　　　　～第二次世界大戦による影響を中心として～」
　　４）「シティ・ポップの分析 ～70年代/80年代と現代を比較して～」
　　５）「近藤浩治のゲーム音楽における楽曲制作手法に関する研究
　　　　　～スーパーマリオシリーズを対象として～」
　　６）「ホラーゲームの非戦闘シーンにおける音響演出に関する研究
　　　　　～廊下マップにみる「隠した表現」～」
　　７）「日本における恋愛を題材にしたポピュラー音楽の分析
　　　　　〜1970年代と2010年以降〜」
　　８）「カーペンターズの楽曲の分析 ～トップ・オブ・ザ・ワールドを中心に～」
　　９）「Data Musicalizationによる楽曲制作 ～人の属性を素材として～」
　１０）「「キングダム ハーツ」シリーズにおけるBGMの音楽的特徴
　　　　　～プレイヤーの感情を誘導する場面に着目して～」
　１１）「K-popにおける反復要素に関する研究
　　　　　～Black Eyed Pilseungの楽曲を中心として～」
　１２）「『Bloodborne』の戦闘時における音楽の特徴
　　　　　～ボス戦に見る世界観を意識した臨場感の演出について～」＜中間発表＞

上記のように、音楽に関連した幅広いテーマを扱うのが本研究室の特徴ですが、カテゴリーで見ると今回は「ポピュラー音楽（洋楽・邦楽）の分析」が6件と最も多く、次いで「ゲーム音楽・音響関連の研究」が4件、「ジャズの歴史研究」と「楽曲制作」がそれぞれ1件という内訳でした（※ちなみに昨年度はゲーム関する研究が一番多かったです）。特に９）のような音楽作品の創作（本研究室の名称にある「クリエイション」の部分です）を目的としたものは実に3年ぶりで、そういった点からも例年以上に多彩なテーマでの発表となりました。

当日は本研究室の次年度卒研着手学生も参加し、積極的に発表者に質問していましたが、彼らが今後どのように研究に取り組み、それぞれ形にしていくか楽しみです。


（文責：伊藤謙一郎）

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．
本日のブログは，「令和元年度芸術科学会東北支部大会」での研究発表紹介・第 4 弾です！

本日ご紹介する研究は「Alive Flame：酸素分圧勾配による火柱の移動を考慮した火災旋風のプロシージャルアニメーション [1]」です．


図．研究発表中の韋君


本研究では，酸素分圧勾配を計算して，まっすぐ舞い上がる火災旋風が酸素濃度の濃い方向へ向けて移動することによって，周囲への延焼の様子をシミュレーションすることを可能にしました.

研究成果動画は，こちらからご覧いただけます．

今後はさらにシミュレーションのスケールを大きくし，森林火災のシミュレーションなどへの応用を検討しています．


以下のリンク先より，令和元年度芸術科学会東北支部大会発表報告その１からその３までをご覧いただけますので，
お時間のある時にでも目を通していただけると光栄です．

●令和元年芸術科学会東北支部大会・発表報告（その１）
●令和元年芸術科学会東北支部大会・発表報告（その２）
●令和元年芸術科学会東北支部大会・発表報告（その３）

[1] 韋 程博，大西将貴，伊藤智也，菊池 司，”Alive Flame：酸素分圧勾配による火柱の移動を考慮した火災旋風のプロシージャルアニメーション”，令和元年度芸術科学会東北支部大会，講演セッション，01-07，2020．


文責：菊池 司