みなさん，こんにちは．メディア学部助教の兼松です．
今日ご紹介する研究は，「セリフ自由入力機能によるRPGの主人公とプレイヤーの乖離防止効果」です．

近年，ゲームはグラフィック関連の技術向上も相まって，美しい映像や豊かなキャラクター表現とともに映画のような映像表現を用いるものが増えています．特にキャラクタービジネスが盛んな日本では，魅力的なキャラクター同士の掛け合いなどを楽しみにしているプレイヤーも多いかと思います．
一方で，ゲームではプレイヤーの没入感を高めるため，「主人公＝プレイヤー」の構図を崩さないよう，主人公キャラクターを無個性なキャラクターとしてデザインされているものも多いです．
有名どころだとドラゴンクエストやHalf-Life，Skyrimなんかもそうですね．
こういったゲームでは主人公がセリフを喋ることはほとんどありません．セリフを話してしまうと，そこからキャラクター像・印象にバイアスがかかってしまいますからね．ですので，こういったゲームでは，他のキャラクターとのコミュニケーションを表現する場合でも「はい」「いいえ」の選択肢程度に留めているものが多いです．ただ，この仕組みだと掛け合いの面白さの表現は難しい上，「プレイヤーは嫌々”はい"を選択した」にもかかわらず「ノリノリで肯定してくれたことを前提に会話を続ける他キャラクター」のような，食い違った状態になることもめずらしくありません．

そこでこの研究では，いわゆるNPCからの問いに対してプレイヤーが自由にセリフを入力して返答する機能を実装，その効果を検証しました．また，ただセリフを自由に入力しただけでは「はい」「いいえ」選択と同じように会話の掛け合いが食い違ってしまいますが，この研究ではセリフを入力する際，「主人公がどんな感情で返答するのか」を選択させる機能も実装しています．これによって，会話の食い違いを防ぐ工夫をしているわけです．

近年の日本アニメだと，さもゲームの世界に入り込んで生活，活動しているような表現がされているものも多いですよね．ただ現実的にはあそこまでの没入感を得るためには，超えなければならないハードルが山ほどあります．
しかし，こういった研究がすすむことで，将来的にはより”リアル感の強いロールプレイ”ができるようになるかもしれませんね．

[大橋優輝,兼松祥央,三上浩司,セリフ自由入力機能によるRPGの主人公とプレイヤーの乖離防止効果,日本デジタルゲーム学会第10回年次大会,2020.3]

（文責：兼松祥央）

みなさん，こんにちは．メディア学部助教の兼松です

唐突ですが，みなさんはどんなゲームが好きですか？
私はプレイする率で言えば「FPS勢」ということになると思いますが，決まった流れにそって進めるゲームよりは，自分であれこれ想像しながら好きなことができるゲームが好きです．
学生の頃にはまっていたのはフライトシュミレーター系のゲームでした．
研究テーマの一つにシナリオが入っているように，根本が空想・妄想好きなんでしょうね．

今思えば，そもそも私がオリジナルのストーリーを考えたり，何か頭の中にある妄想を形にすることにはっきりとした興味を抱き始めたのは，子供の頃に「スティーブン・スピルバーグのディレクターズチェア」というゲームをやったあたりからだと思います．
今でこそ，動画などの素材を組み合わせてオリジナルの動画を作るなんてことは一般化してきていますが，1997年に日本発売のゲームですので，まだまだ一般的ではありませんでした．そんな中，クエンティン・タランティーノさんが出演する動画素材を切った貼ったしながらオリジナルの映像作品を作ることができるこのゲームを，一生懸命やってました．今やっても面白いんじゃないかな？

さて，そんな話はともかく，今日ご紹介する研究は「RPGの戦闘においてユーザーが好む行動を学習する仲間AIの提案」です．これも昨年度の卒業研究です．

この研究はRPGに登場する仲間キャラクターのAIを改良し，戦闘シーンで仲間AIが，よりプレイヤーが好む行動を選択してくれるようにすることを目指したものです．ポイントは，戦闘シーンを攻略するにあたって効果的か，効率的かではなく，プレイヤーごとの好き嫌いを取り入れようとしたことですね．

具体的には，いわゆる「いいねボタン」のようなものでAIの行動を評価し，それをもとに仲間AIの行動がユーザー好みに変化していきます．

RPGの仲間と言えば，私は某有名RPGの「あんまりきかない即死呪文を連発する回復役」が思い起こされます．あれはそういう目的でつくられたキャラクターではなく後付けなのかもしれません．しかし，「妄想・いかに想像をかきたたせてくれるか」を重視したい私としては，ただ強いキャラクターを突きつめるだけでなく，一緒に冒険・成長してる感を味わえる仕組みがもっと進化してくことを楽しみにしています．

[黒田雄介,兼松祥央,三上浩司,RPGの戦闘においてユーザーが好む行動を学習する仲間AIの提案,日本デジタルゲーム学会第10回年次大会,2020.3]

（文責：兼松祥央）

みなさん、こんにちは。メディア学部助教の兼松です。
今日も昨年度の卒業研究を紹介します。
戦国時代好き的にたまらない研究第2弾です。

「FULCutter: 材質の違いを考慮した切り抜いた感覚を与える力覚フィードバックデバイスの開発とその評価」では、VRコンテンツ向けに、刀などで物体を切断する感触を得ることを目指しました。
この研究ではオレンジや骨付き肉など、部位によって硬さの違うものを切る感触が得られます。
例えばオレンジであれば、VRコンテンツ内で刀がオレンジに当たった時、皮の部分に接触しているときは少し固めの抵抗を感じ、皮を貫通して果肉に達したときには少し柔らか目の抵抗が感じられ、さらに果肉も貫通して反対側の皮に当たるとまた少し固めの抵抗を感じる、といった形です。
また、この研究でユニークなのは、高熱の剣（いわゆるビームサーベル、ライトセーバー）で鉄骨を斬る際の感触も実装したことです。

この手の研究には医療目的のものをはじめ、よりリアルな感触・フィードバックを得ようとする研究なども進められています。
もちろんビームサーベルで鉄骨を斬った経験は誰にも無いので、”何がリアルか”は難しいところです。また、ゲームなどのエンターテイメントコンテンツでどこまで現実に則した感触を与えるべきかは、また別の議論があると思います。

いずれにしても、この手の研究が進んで、よりリッチな体験と共に手軽に”無双感”が得られる日が来るかと思うとワクワクしますね！

[古堅耕太朗,兼松祥央,三上浩司,FULCutter: 材質の違いを考慮した切り抜いた感覚を与える力覚フィードバックデバイスの開発とその評価
,日本デジタルゲーム学会第10回年次大会,2020.3]

（文責：兼松祥央）

みなさん，こんにちは．メディア学部助教の兼松です．
今日は昨年度の卒研生が行った「鍔迫り合い」に関する研究を紹介します．

三上・兼松研にはゲームに関する研究を行う学生が多数在籍しています．
ゲームに関する研究ですから，やはり何かを分析したり，プログラムを工夫したりと，ソフトウェア寄りの研究が多いです．
しかし，中にはハードウェア側の工夫を行う学生もいます．
昨年度の卒研生が行った「剣戟VRコンテンツにおける鍔迫り合い時に生じる力覚フィードバックの提案」もその一つです．

この研究は，Oculus Touchのコントローラーに日本刀の柄や鍔に相当するパーツを取り付けたデバイスを制作しました．
また，コントローラーにバネを取り付け，コントローラーを板に押し当てることで，鍔迫り合いで刀が押し返される感触を得ようとしたものです.
バネの弾性力を用いたものですので仕組みとしては単純ですが，VRコンテンツと組み合わせることでなかなか面白い体験になっていたと思います．

・・・１番面白かったのは，発表会などで様々な先生があーだこーだ言いながらコントローラーを板に押し当て続ける姿だったのは秘密です（笑）
時代劇・戦国時代マニアの私としては，かなり注目度の高い研究でした．

[澤野充季,兼松祥央,羽田久一,三上浩司,剣戟VRコンテンツにおける鍔迫り合い時に生じる力覚フィードバックの提案,日本デジタルゲーム学会第10回年次大会,2020.3]

余談ですが，戦国時代を題材とした小説で私のオススメは司馬遼太郎さんの「梟の城」です．
時代小説では史実を題材にした作品も多いですが，梟の城は背景世界設定は史実を題材としつつ，主人公を取り巻く物語はフィクションの割合が多い作品です．
豊臣秀吉や石川五右衛門など，有名な人物・逸話をうまく物語のギミックに取り入れている点は，「こういうことがうまくできるようにしたい！」と，シナリオを研究している私のモチベーションになっています．
stay homeでお時間のある方は，読んでみてはいかがでしょうか？

（文責：兼松祥央）

メディア学部の大淵です。

発表できなかった発表シリーズの4件目です。今回は、修士2年生の福永さんの「キー音を用いたリズムアクションゲームにおける譜面の自動生成」を紹介します。発表する予定だったのは、情報処理学会エンターテインメントコンピューティング研究会です。

「太鼓の達人」や「ダンスダンスレボリューション」「ビートマニア」など、いわゆる音ゲーが好きな人も多いと思います。こうした音ゲーは、元となる曲から、ゲーム制作者がひとつひとつのゲームの「譜面」を作っているのですが、それを自動化しようというのが福永さんの研究です。自分が好きな曲のmp3データだけあれば、音ゲーとして遊べるようになる、そんなふうになれば楽しいですよね。

昨日の記事に書いた矢島さんの研究と同じく、福永さんの研究も、途中経過を国際学会で発表済です(ブログ記事はこちら)。そのときの内容は、譜面自動生成の中心となる推定モジュールについて、精度を高める方法を見つけたというものでした。それから半年、自動化プログラム全体が完成し、実際にゲームを作ってみるところまでできるようになりました。今回の発表は、こうして作ったゲームをいろんな人にプレイしてもらい、ゲーム制作者が作ったゲームや、まったくランダムに作ったゲームととの印象比較を行ったという内容です。実験結果がわかるまではドキドキでしたが、結果として、ランダムに作ったものよりはずっと面白いという回答が得られ、これまでの研究努力が報われたという感じでした。

システムは完成しましたが、研究としてやりたいことは沢山残っています。ゲームの難易度を正確に調整できたり、「もっとリズム感のあるゲームにして」みたいな言葉での要求にも応えられるようにできたら、きっと多くの人に使ってもらえるようになるでしょうね。

メディア学部の大淵です。

発表できなかった発表シリーズの3件目です。今回は、修士2年生の矢島さんの「音の瞬時的前後知覚における不一致視覚情報の影響」を紹介します。発表する予定だったのは、日本音響学会春季研究発表会です。

音がどちらの方向から来ているのかを、人間は2つの耳を使って聞き分けますが、左右方向の聞き分けに比べて、前後方向の聞き分けは難しいということが知られています。矢島さんの研究テーマは、この前後方向の聞き分けが、目から入ってくる情報によってどのように変わるかを調べることです。特に、目から嘘の情報が入ってきたとき、耳はどのように騙されるのかというのが、中心となるテーマです。

これまでの研究の途中経過は、昨年夏の国際学会で発表し、そのときのことはこのブログでも紹介しました。そのときは、視覚の影響が思ったほど強くないという結果だったのですが、そこから実験を重ね、視覚の影響が強くなる条件を見つけての今回の発表です。

前回の実験では、音を発している人や物の映像がスクリーンに現れてから、2～3秒して音が始まっていました。被験者に視覚情報をしっかり意識させてから音を聞かせようという意図だったのですが、今回はそれを変えて、映像がスクリーンに現れるのと全く同時に音が鳴るようにしてみたのです。すると、実験結果に顕著な違いが現れ、被験者が映像に騙されることが多くなりました。一瞬の注意力が視覚に奪われた結果、聴覚がおろそかになったのだろうというのが我々の考察です。

最近では、ヴァーチャルリアリティとサラウンド音響を組み合わせて、様々なコンテンツが作られています。そこにこうした知見を取り込むことで、従来のもの以上の臨場感を、視聴者に感じさせることができるようになるかもしれません。

みなさん，こんにちは．メディア学部助教の兼松です．
今日は私の研究テーマの一つである，映像コンテンツにおけるキャラクターの分析について少しお話しします．

アニメなどの映像コンテンツにおいて２本の柱ともいえる重要な要素があります．それはシナリオとキャラクターです．
クリエイターは，作品に込めたテーマや表現したい雰囲気，感じて欲しい世界観などを，ストーリーに乗せて表現します．
そしてこのストーリーを視聴者に伝える役割を持つのがキャラクターです．

みなさんが好きなアニメを想像してみてください．毎度毎度「今こういう事件がおきています」「こういう空気が漂っています」とナレーションや文字で表現していないですよね（小説だとやっている場合も稀にありますが）．多くの場合，ストーリーはキャラクターの行動やセリフなどで表現しますし，逆に視聴者も，キャラクターの様子から今何が起こっているのかを理解していきます．
したがってキャラクターを作るときには，ストーリーを伝えるという目的において，そのキャラクターがどんな役割を持つのかをしっかりと考えて設計していかなければなりません．
極々簡単にいってしまえば，同じことをさせるにしても「クールで知的」なキャラクターにさせるのと，「明るく元気」なキャラクターにさせるのでは，視聴者に伝わる情報が違うということですね．

そこで私は，クリエイターが様々な目的に沿ったキャラクターを制作しやすくするため，学生たちと一緒に既存作品のキャラクターの調査や分析をしています．
最近では学生の一人が，2000年から2018年の各年度DVD・ブルーレイ売上上位３作品を対象に，公式webサイトに掲載されているキャラクターの紹介文・設定文を全て調査しました．キャラクター数にすると1157人分です．そして，これらの紹介文を分析することで，キャラクターを設定するにあたって，特に頻出する要素などがわかるようになります．

もちろんこれだけではキャラクター制作の直接的な支援になるわけではないのですが，今回の分析結果を様々な要素と組み合わせることで，面白い支援ができるようになると期待しています．

「谷村皓奎,兼松祥央,三上浩司,近藤邦雄，性格に着目したアニメキャラクターの設定制作支援に関する研究，映像表現芸術科学フォーラム, 2020.3 」

（文責：兼松祥央）

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

本日のブログでは，7回に渡ってお伝えしてきた「令和元年度芸術科学会東北支部大会」での研究発表報告の
第7回目（最終回）になります．

最終回にご紹介するのは，「区画画像から町の特徴を考慮した城下町のプロシージャルモデリング [1]」です．


図．研究発表中の藤塚君


本研究では，お城の周りに広がる城下町を対象とし，城下町を「武家屋敷エリア」や「町人街エリア」，「寺社エリア」などのように領域を分割・指定することにより，エリアの広さに合わせた建造物モデルをプロシージャルに配置していくことで，城下町モデルを半自動的に生成可能としました．

以下のリンク先より，令和元年度芸術科学会東北支部大会発表報告その１からその６までをご覧いただけますので，お時間のある時にでも目を通していただけると光栄です．
●令和元年度芸術科学会東北支部大会・発表報告（その１）
●令和元年度芸術科学会東北支部大会・発表報告（その２）
●令和元年度芸術科学会東北支部大会・発表報告（その３）
●令和元年度芸術科学会東北支部大会・発表報告（その４）
●令和元年度芸術科学会東北支部大会・発表報告（その５）
●令和元年度芸術科学会東北支部大会・発表報告（その６）


[1] 藤塚 巧，伊藤智也，菊池 司，”区画画像から町の特徴を考慮した城下町のプロシージャルモデリング ”，令和元年度芸術科学会東北支部大会，講演セッション，01-10，2020．


文責：菊池 司 

メディア学部の大淵です。

発表できなかった発表の2件目は、学部4年生の市川さんの「不快音を生じさせる音響信号に対する文脈効果」です。こちらも「映像表現・芸術科学フォーラム」で発表予定でした。

ガラスを引っかく音や、黒板をチョークで擦る音など、聞くだけで不快になる音ってありますよね。その不快感をなんとかしたいという発想から始まったのがこの研究です。研究テーマの設定までは順調だったのですが、その後は予期せぬ方向に進んでいきました。

最初に考えたのは、現代音楽などで不協和音をたくさん含む曲を聴くとき、不快感を感じてもおかしくないのに、ちゃんとした音楽だと思うと不快感を感じないということでした。だとすると、そういう音楽に耳を慣らした状態で不快音を聞けば、それほど不快だと感じないのではないかと考えたのです。このように、前後の音の印象により間にある音の印象が変わることを、文脈効果と呼びます。

面白いアイディアだと思って実験をしてみたのですが、なかなか予想通りの結果が出ません。というか、むしろ逆の結果が出て、現代音楽に挟まれた不快音の方が、より不快感が高いという結論になってしまったのです。ここで「あー失敗だった」と思えばそれまでですが、きちんとやった実験に失敗ということはありません。予想と逆の結果が出たとしても、それもまた一つの新発見です。実験手順を見直して、間違ったことをしていないことが確認できたら、「よし、この結果を学会で発表してみよう」ということになったというわけです。

「事実は小説よりも奇なり」という言葉がありますが、これは科学にも当てはまります。人間が予想できることなどたかが知れていますが、予想に反した結果が得られたときにこそ、科学的新発見への道が開けてきます。今回の発表では、そんな研究の世界の一端を垣間見ることができたのではないかと感じています。

メディア学部の大淵です。

3月は学会のシーズンで、私の研究室でもいくつかの学会発表を予定していました。しかし、新型コロナウィルスの感染防止のため、ほとんどの学会が中止になってしまいました。学部4年生や修士2年生など、卒業までの研究の集大成を発表する予定だった人にとっては大変残念なことですが、こればっかりはどうしようもありません。ただ、どの学会も「予稿の提出をもって発表を行ったものとみなす」という方針を示してくれたので、彼らの発表実績は確かに記録されたことになりました。発表が行われ公知になったことですから、このブログでもぜひ紹介させていただこうと思います。

最初の発表は、学部4年生の木下さんの「感性表現に基づくシンセサイザー用音源選択」で、3月13日の「映像表現・芸術科学フォーラム」で発表予定でした。自由な言葉で音源を探し、シンセサイザーで使いたいというのは、私の研究室で以前から取り組んでいるテーマで、このブログでも成果を紹介したことがあります。今回の木下さんの研究の特徴は、このテーマにSD法という方法を持ち込み、いくつかの形容詞対で言葉の意味を数値化するようにしたところにあります。SD法というのはSemantic Differential法の略で、「明るいー暗い」「派手なー地味な」のように、反対の意味を持つ形容詞を並べて、どちらにどれぐらい近いかをアンケート方式で回答してもらうというものです。用意しておいた音源に対し、あらかじめこのようなアンケートを行い、数値化を行います。ただし、ユーザーがクエリ単語を入力するたびにアンケートを行っていたのでは大変なので、その部分にはアンケートを使わず、Word2VecというAIツールを用いたことが、もう一つの特徴です。

残念ながら、学会会場でデモを見てもらうことはできませんでしたが、とても面白いシステムなので、ぜひどこか別のところで紹介したいと思っています。