メディア学部の大淵です。

12月にオンライン開催されたADADA International 2020で、大学院生の山口さんが発表しました。彼は昨年の同じ学会でも発表していて、2年連続の発表ということになります。今回の発表タイトルは"Extremely-Simple Piano Training System Based on Keystroke Timing Analysis"というもので、前回のタイトルが"Extremely-simple Piano Training System using Finger Tap Recogniton"でしたから、同じテーマの研究を続けていて、着実に前進しているのがわかると思います。

上の図にあるように、タブレットなどの表面を指で叩くだけで、ピアノ演奏の練習ができるシステムを作ろうというのが、この研究の目的です。そのために指タップ音の認識を行うのですが、昨年の発表では「どの指を使ったかが音だけでわかる」ということに着目していて、今年の発表はさらに「叩いたタイミングの微妙な違いで演奏の上手下手がわかる」というところに進歩しています。

今回は、Work-in-progressというセッションで発表したのですが、嬉しいことにExcellent Presentationに選出され、表彰していただくことになりました。山口さんは修士2年で、修士論文の仕上げに向けて頑張っているところですが、良い励みになったのではないかと思います。

メディア学部の大淵です。

このたびSpringer社から「Voice Attractiveness -Studies on Sexy, Likable, and Charismatic Speakers-」という本が出ました。その中の1章を私が執筆しています。"Multidimensional Mapping of Voice Attractiveness and Listener’s Preference: Optimization and Estimation from Audio Signal"というタイトルです。日本語に訳すと、「声の魅力度と聞き手の好みの多次元表現：最適化と音声信号からの推定」といった感じです。

もう3年も前になりますが、Interspeechという学会で、「いらっしゃいませ」という声の魅力度の分析に関する研究発表を行いました。その発表を行ったのが、"Voice Attractiveness"というスペシャルセッションだったのですが、そのセッションで発表したいくつかの研究成果をまとめて本にしたいということで、主催者から声をかけていただき、執筆を担当することになりました。当初は2年程度で発行の予定でしたが、いろいろと時間がかかってこの時期の出版となりました。新しい研究成果が次々と発表される昨今の音声研究業界では、いささか古い成果となってしまいましたが、内容はとても面白いものばかりです。

この本が出るまでの間に、世間は新型コロナで大騒ぎとなり、大学の講義のあり方も大きく変わりました。オンライン授業が増える中で、教材作成を通じて「自分の声」と向き合うことになった先生も多いと思います。私の普段の授業でも、聞いている皆さんに好印象を持ってもらえる声で話せるように、この本に書かれていることを役立てられればと思います。

助教の戀津です。
渡辺先生や大淵先生に続き私もNICOGRAPH2020での研究発表の紹介です。

「時間転移を伴う映像作品における時系列構成の可視化手法の提案 」というタイトルで、小崎悠平さんにショートの口頭発表形式で発表していただきました。
この研究は、今年度前期に開講した先端メディア学「コンテンツビジュアライゼーション」の一環で行った分析作業をまとめたものです。
先端メディア学の成果なので、先日の千種先生の記事と同様、学部二年生による学会発表です。もちろん本人にとっては初の経験ですが、大変立派に行ってくれました。

映像作品は、作品中の世界での出来事を必ずしも発生した順に描写するとは限りません。
よくある例で言えば、回想の形で過去の情報を描写することがあります。
ミステリーなどでは冒頭に事件の一部を描写し、最後に犯人が分かった後で検証のように犯人の行動込みで事件を描写したりします。
これは、作品の再生時間終盤で作中世界での初めの方に起きた出来事を描写している例と言えます。

また、作品の内容的にタイムトラベル等を扱っている場合、そもそも主人公の居る時間が前後に移動することがあります。
この場合、作品の再生時間と作中世界での時間の順序が入れ替わり、作品によっては複雑な変化をし物語の理解を難しくします。

このような、時間の移動を伴う作品について、再生時間と作中世界での時間の入れ替わり具合や関係、いわゆる時系列を可視化できないかという事で分析を始めました。
ここでは、タイムトラベルものとして著名な映画『バック・トゥ・ザ・フューチャー』シリーズについて、パートⅠ～Ⅲまでを通しにして可視化した結果を紹介します。
左から右に向かって進み、上段が再生時間順、下段が作品中での起きた順になるようにして並べ替えをしています。

時間移動が起きた時にブロックを区切り、各ブロックは上段下段で同じものについて線で結んでいます。
再生時間開始から終了までを赤から青でグラデーションをつけて色分けすることで、再生順と起こった順の差が大きいほど区切りが見えやすいようにしています。

これに加え、以前の記事で紹介したように、主人公が時間移動をする場合には「主人公の体験した順」が存在します。
主人公が時間移動する限りは再生順と変わらないですが、可視化の際に考慮が必要になりますね。
また、時間移動をした場合歴史の改変が発生し、世界線（これもまた定義が難しい言葉です）の変更が起きたりします。
世界線の移動を、さらに下段方向に展開することで図示してみました。

一応、作中での起きた順を示しつつ、世界線の変更を示すことはできました。
しかし、試行錯誤の一環でとりあえず可視化しましたが、これについてはもう少し改善したいところです。
また進展があり次第報告します。

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

本日のブログは，「ADADA+CUMULUS 2020（International Conference for Asia Digital Art and Design 2020）」での研究成果発表紹介の第 2 弾です．

本日紹介するのは，大学院修士1年・木下智裕君による「Suggested Structure of Easy-to-read Caption Tape Design for Video Beginners [1]」です．

現在，テレビや広告，YouTube など映像コンテンツで用いられるテロップは，文字デザインを変化させることで発言内容だけでなく，話者の感情などもわかりやすく表現しています．また，耳の不自由な人にもわかりやすく伝えることができるという利点もあります．
近年では，YouTube などの動画共有サイトや SNS の活動から，映像コンテンツ制作における敷居が低くなり，誰でも映像を作られるようになっています．
しかしながら，制作されている映像に加えられるテロップは，背景と同化してしまうなど情報を伝えるためのテロップが読みにくくなってしまう場合が多々あります．現在のテロップ制作において，テロップデザインは編集者の経験やセンスによって制作されており，デザインに関する知識が乏しい人にとってフォントの選択や色の選択などを判断することは難しいものとなっています．

本研究では，これから映像編集を始めるユーザーにとって視聴者が読みやすいテロップを作るためのデザイン構成を提案しました。
テロップのデザイン構成をする上での基本要素として「枠線」，「シャドウ」，「ベース」の3つに着目し，これらの要素を用いて視聴者が読みやすいと感じるデザインをアンケート調査しました．その結果から，テロップをデザインし読みやすいテロップデザイン例を作成しました．



[1]Chihiro Kinoshita, Hong-Seok Choi, Tomoya Itoh and Tsukasa Kikuchi. "Suggested structure of easy-to-read caption tape design for video beginners", Proc. of ADADA+CUMULUS 2020, 8A-5, 2020.

文責：菊池 司

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

本日のブログでは，去る2020年12月14日ー16日にオンラインにて開催された「ADADA+CUMULUS 2020（International Conference for Asia Digital Art and Design 2020）」にて，我々の研究グループから発表した研究成果２件のうちのひとつを紹介したいと思います．

本日は，大学院修士１年の加藤有稀君による「Instantaneous Phase Change Simulation of Fluid based on Heat Transfer Using Volume Data [1] 」を紹介します．

本研究では，固液間における瞬間的な相変化シミュレーション法を提案しました．
流体シミュレーションには FLIP 法を用い，支配方程式であるナビエ・ストークス方程式の粘性項を利用した運動の制御を行っています．熱伝播にボリュームデータを利用し，温度情報を流体パーティクルに転写します．そして，温度と粘度の関係式から相変化現象の計算を行います．
本手法により，相変化の際に干渉したボリュームデータの形状に沿ってシミュレーションが始まるため，自由度の高い計算を可能としました．また，流体に対し一部のみを干渉させることにより，固液が共存する状態を一度のシミュレーションで表現することが可能となりました．

今後は，固体個所の破砕，粘度制御による不完全な静止，および慣性による固体部分の分離などを可能とすることを目指しています．




[1] Yuki Kato, Tomoya Ito and Tsukasa Kikuchi. "Instantaneous Phase Change Simulation of Fluid based on Heat Transfer Using Volume Data" Proc. of ADADA+CUMULUS 2020, 7A-4, 2020.

文責：菊池 司

みなさん，こんにちは．メディア学部助教の兼松です．

12月14日から16日までの３日間，ADADA+CUMULUS 2020という学会が開催されました．
http://adada.info/2020/

本学からも複数の研究が発表され，三上・兼松研からも4件の発表がありました．

*Work-In-Progress
[Zeyu Lyu, Yoshihisa Kanematsu and Koji Mikami. Improving the Prediction Effect of Fighting Game AI on Human Players by Cognitive Bias]
[Yuki Nakama, Yoshihisa Kanematsu and Koji Mikami. Development of a Character Design Draft Simulation System Considering Silhouettes]
[Akifumi Tanimura, Yoshihisa Kanematsu and Koji Mikami. Development of Character Design Support System Based on Character’s Dialogue Analysis]

*Technical/Art Paper
[Yoshihisa Kanematsu, Chika Koyama, Daichi Hayakawa, Ryuta Motegi, Naoya Tsuruta, Kunio Kondo. Analysis of episodes containing elements of enemy and allies reversal in movie scenarios]

上３つは大学院生が発表し，一番下のものは私が発表しました．
今回私が発表した研究は，昨年度定年退職された近藤先生の研究室で卒研生が分析などをしていたものに，私がデータや分類の整理などを追加したものです．

この研究は大きな枠組みで言えば，シナリオ・ストーリーの可視化関連の研究です．
様々な映画やアニメには，ストーリーの進展に伴って立ち位置を変化させるキャラクターがいます．
初めは味方だったのに途中で裏切って敵になってしまうキャラクターや，その逆で敵が味方になるパターンもありますね．
そして，こういった裏切り・寝返りというイベントはストーリーの重要な転機や，エンディングに至るきっかけになることも多いです．
そのため，単にある時期がきたら裏切らせれば良いということではなく，その裏切りをよりショッキングな出来事として印象付けるためにも，事前に様々なストーリー上の工夫が行われます．
視聴者には怪しい素振りをほのめかせておいて，「こいつ，実は敵なんじゃないだろうか？」とそわそわさせることもありますし，まったくそういう素振りを見せずにおいて，ここぞというときに裏切らせてびっくりさせることもあります．

そこでこの研究では，裏切りかたのパターンや裏切るまでにどういう行動をとっているのかなどを分析しています．
このblogで度々ご紹介しているデジタルスクラップブックの考え方にも近いですが，こういった「裏切りの見せかたのノウハウ」を蓄積することで，自分のキャラクター・ストーリーに適したストーリーの設計ができるようになれば良いと思っています．

（文責：兼松祥央）

メディア学部の大淵です。

NICOGRAPH 2020での発表を、もう一つ紹介させていただきます。満田将人さんの「キー音方式の音楽ゲームにおける音源分離を用いた譜面自動生成」です。

この研究は、いわゆる「音ゲー」を、楽曲だけから自動生成しようという研究で、私の研究室では以前から取り組んできています。その成果については、こちらの記事などでも紹介させていただきました。以前の発表では、「○○はだいたいできているので、××を実現するのが重要である」みたいなことを言っていたのですが、実際には○○のところも完璧とは言えず、そこをきちんと仕上げようというのが今回の研究テーマです。具体的には、「音楽をいろんなパートに分割して、ゲームデータを作りやすくすることができるか？」という問題ですね。

音響処理の分野では、最近の深層学習の発展などに伴い、高性能の音源分離ツールがいろいろと公開されるようになってきました。今回の研究では、そうしたツールを活用しつつ、独自のアルゴリズムも取り混ぜて、音ゲーに適した音楽の分離を実現しました。音ゲー自動生成の完成に向けて、また一歩前進という感じです。

昨日紹介した感情認識の発表に続き、なんとこちらの発表でも優秀発表賞をいただくことができました。ひとつの学会でのダブル表彰というのは、当研究室でも初めてのことで、指導教員冥利に尽きる学会となりました。満田さんもこの9月から大学院に進学しており、音ゲー研究の更なる進化を目指しています。今後の発表にご期待ください。

メディア学部の大淵です。

先日このブログでも紹介したNICOGRAPH 2020では、私の研究室からも2件の研究発表を行いました。そのうちの一つ、大石光流さんの「パラ言語を用いたスタンプ検索システム」を紹介します。

検索画面に単語を打ち込み、何かを検索するというのは、みなさんも日々やっていることだと思います。最近は、キーボードの代わりに声で検索する人も増えてきましたが、そんな場合でも、検索の基本となるのは「何という言葉で検索したか」です。多くの場合はそれで十分なのですが、ときにはそれで不十分なことがあります。大石さんは、不十分な場合の例として、メッセージアプリのスタンプの検索ということを考えました。ある言葉で検索すると、いろんなスタンプが見つかる。でもその中には、楽しそうなもの、怒っているもの、悲しそうなものなどいろんなバリエーションがある。もしも、検索語を入力したときの話し方の雰囲気を検索結果に反映させることができれば、もっと便利になるんじゃないだろうか、というところから研究を始めたわけです。

当研究室で以前から扱っている「感情認識」の仕組みを応用して、さっそくプロトタイプを作ってみたところ、想定通りに動くようになったので、今回の学会発表に至ったというわけです。スタンプ検索というトピックが身近だったこともあり、大勢の聴講者の方が来てくれて、幸いなことに優秀発表賞もいただくことができました。

大石さんは、この9月から大学院に進学し、このテーマをさらに発展させた研究の立ち上げを準備しているところです。次の学会発表に向けて、どんな成果が出るのか楽しみです。

メディア学部の渡辺です。みなさんこんにちは。

前回 に引き続き、NICOGRAPH2020 でポスター発表を実施した 4 件の研究を紹介します。

修士2年の山本馨加君は、「カメラ距離に応じた多重解像度の地形の生成」という題目で発表を行いました。
近年のゲームには「オープンワールドゲーム」という広大なマップ上を自由に動き回ることができるゲームが大変盛んに発表されていますが、そのようなゲームでは広大な地形を高速に効率的に表現することが求められます。今回の研究では、「テッセレーションシェーダー」と呼ばれるやや特殊なグラフィックス技術を用いて、そのような広大な地形描画を高速に行うための研究です。基本的に地形データは、細かな部分まで全てデータとして格納しておく必要があるため膨大なデータになりがちなのですが、山本君の研究では「パーリンノイズ」と「グレゴリー曲面」という2種類の理論を組み合わせて、GPU内で自動的に地形を生成することでデータ量を削減します。

山本君の発表の様子

学部4年の栗原亨輔君は、「アイトラッキングを用いたVR空間上での照準補助手法の提案」という題目で発表を行いました。
広大なバトルフィールド内で様々な武器を駆使して戦うシューティングゲームは大変人気があります。このようなゲームでは、銃の照準を合わせる技術(ゲーム用語で「エイム」と呼ばれます)が非常に重要なのですが、ヘッドマウントディスプレイを被った VR 空間では頭の動作とカメラが同期するため、非常に難しい技術となります。栗原君は、「アイトラッキング」と呼ばれる視線追跡機能を用いて、狙ったターゲットに弾道がある程度自動追尾を行うことで、初心者にも快適なゲームプレイを実現するという手法を発表しました。実は栗原君は昨年の NICOGRAPH2019 でもこの研究の初歩的な段階を発表しており、今年はさらに発展した内容となりました。

栗原君の発表の様子

同じく学部4年の我彦拓磨君は、「密集を避ける行動をするための群衆行動シミュレーション」という題目で発表を行いました。
今年初めより大いに感染が拡大してしまった COVID-19 (コロナウイルス) ですが、いわゆる密集した状態は感染の可能性が高くなると言われています。我彦君は、多数の人が一斉に移動する様子をシミュレーションする「群集シミュレーション」という理論に対し、いわゆる「密」な状態を避けるような行動を考慮した動作を念頭に置いた理論を提案しました。このシミュレーションを利用し、例えば駅や店で密状態を避けるための効果的な配置構成などを検討することができます。

我彦君の発表の様子

最後に、学部3年の吉田涼真君の研究「D*Liteを応用した新しい道ができたときの動的経路探索」を紹介します。
「経路探索」は、ゲームやカーナビなど多くの分野で応用されている技術であり、古くから研究されている領域なので理論もかなり発展しているのですが、まだまだ研究の余地が多くの残されています。実際、多くの経路探索の理論では「出発地と目的地の両方が変更となった場合、再度の経路探索には多くの処理が必要となる」という問題があります。ただ、ほとんどの応用目的ではこの「出発地と目的地の同時変更」という状況があまりないので問題にはならないのですが、ゲームにおけるキャラクターAIの追跡行動においてはまさにこのようなケースが生じることが多く、問題となります。吉田君は、このような状況において現在の有効な理論である「D*Lite」という手法に着目し、その理論でも欠点となる部分の改善方法を提案しています。

吉田君の発表の様子

(メディア学部教授 渡辺大地)

 

メディア学部の渡辺です。みなさんこんにちは。

11/1〜3 に開催された「NICOGRAPH2020」という学会にて、私の研究室の学生のうち2名が口頭発表、4名がポスター発表を行いました。今回は口頭発表した2名の研究を紹介したいと思います。

修士2年の阿部明梨さんは、「人生シミュレーションゲームにおける関係変化イベント提示による共感性向上に関する研究」という題目で発表を行いました。
「人生シミュレーションゲーム」というのは、プレイヤーが能動的にキャラクターを操作するのではなく、様々なキャラクターが街中で生活を送り、それぞれの人生や人間関係が変化していくのを楽しむというジャンルで、代表的なタイトルとしては「The Sims」や「トモダチコレクション」などがあります。こういったゲームは、各キャラクターがゲーム開始時に自動生成され、人によってまったく異なる状況でプレイできることに新鮮な楽しみを見出せるのですが、最初からキャラクター設定がしっかりしている RPG 等のゲームと比べると、人間関係の変化がやや唐突に感じられてしまうという特性があります。阿部さんは、その感覚の差について考察し、印象が変化するイベントの有無が重要であるという仮説のもとに検証を行いました。

阿部さんの発表の様子

同じく修士2年の古川真帆さんは、「ゲームAIにおける評価関数による最終目標達成保証と局所問題回避の両立の実現」という題目で発表を行いました。
ゲーム AI を実現する手法には様々なものがありますが、そのうち評価関数を用いて行動を決定する「ユーティリティベースAI」と呼ばれる種類の AI についての研究です。このユーティリティベース AI は、キャラクターに設定された目標(例えばゴールに到達するとか、敵を全滅させるなどの)に対し、うまく設計しないといつまでも達成できなくなる可能性があります。そこで、目標達成を保証する「ゴールベースAI」という手法を用いることも多いのですが、この設計も非常に困難なものであるという問題があります。古川さんは、「疑似ラプラシアン」という数学理論をこの評価関数に適用することにより、AI設計者が作成した任意の評価関数で目標達成を保証する理論を提案しています。

古川さんの発表の様子

実は阿部さんと古川さんは NICOGRAPH は 2018, 2019 とそして今回の 3 年連続で発表しています。2018 はポスター発表、2019 はショートペーパー口頭発表、そして今回はフルペーパー口頭発表ということで、1年経つごとにランクアップしていきました。2名とも着実に成長していることがこのような形で示されたことに、指導教員としてとても嬉しく思っています。現在は修士論文の執筆をするかたわらで、論文誌投稿を目指しています。

(メディア学部教授 渡辺大地)