メディア学部の三上です

引き続いてWISS2022（インタラクティブシステムとソフトウェアに関するワークショップ）で発表した研究について紹介します．

こちらは大学院生の長谷川傑さんが開発した，温度提示を利用したボードゲーム用のデバイスにかかわる研究です．

ボードゲームなどとAR（拡張現実）技術を組み合わせて，体験を向上させる研究はいくつか事例があります．これに加えボードゲームで使うボードそのものも拡張してしまおうというのがこの研究です．

碁盤の目のようになっているボード一つ一つにアルミヒータが設置されており，それをゲームエンジンUnityとArduinoを用いて制御しています．まるで盤面の中に生物が潜んでいるような音感提示を与え，隠れている動物を探し出すコンテンツを開発しました．

現在はスマートフォンを通じてコンテンツを楽しんでいますが，これからさらなるデバイスへの発展も検討しています．

これからの進展に目が離せません．

文責：三上浩司

メディア学部の三上です

引き続きWISS2022（インタラクティブシステムとソフトウェアに関するワークショップ）で発表した大学院生の研究を紹介したいと思います．この研究はバトミントンのトレーニングのためのツールです．

前回の競技用自転車に続いて三上研究室は体育系かと思う割れるかもしれませんが，原則として学生が「実現したい」，「やってみたい」と思う研究を進めるのが三上研究室の特徴です．今回も大学院生の黒澤君がバトミントンの経験者であり，その経験から今回の研究の発案に至りました．

バトミントンの初心者にとって難しいラケットの握り方とそれをもとにしたラケットの振り方を，VR上で上級者のお手本映像に合わせて練習することができるツールを開発しました．スピードの調整津をしてゆっくりと再生させたり，ラケットの高さを調整する機能などを用意して，初心者がより正確に反復練習できるように作成しました．

実験の結果，ビデオ教材などと比較しても大変分かりやすいという評価結果が出ており，バトミントンのトレーニングに効果があることが確認できました．

WISS2022では，実際に多くの人に体験してもらいながらさらなる支援について多くの議論ができました．

文責：三上浩司

メディア学部の三上です．

本日は，大学院生の渡邊拓斗さんの研究を紹介します．そのテーマは私の趣味でもある競技用自転車（ロードバイク）にかかわる研究です．

渡邊さんも趣味がロードバイクということもあり，協議自転車のトレーニングに使う装置を用いて，より高度なVRのロードバイクトレーナーを開発しようということで，学部のころから研究を進めてきました．

自転車のトレーナーコンテンツとしてはZWIFTというサービスがあり，オンライン上でつながっている仲間たちと競争するようなソーシャルサービスが展開されています．世界最高峰の自転車レースであるツール・ド・フランスのバーチャル開催などもされており，コロナ禍で注目を集めています．

そんな，トレーニングにさらなる臨場感を与えるためにヘッドマウンテッドディスプレイ（HMD）を使ってVR対応しようというアイデアは思いつくと思うのですが，レース中の体重移動や自転車の傾きなどは表現ができません．

そこで，そのような実際の自転車レースやスポーツ走行を体験できるように，自転車が傾いてコーナリングしている感覚を与えられるように，工夫した装置を作り，VRコンテンツと合わせて，ロードバイクの走行臨場感を高めようとする研究を進めました．

ハンドルをロードバイクから分離させて，左右に傾くように工作しました．これによりプレイヤーの体も傾き，HMDの映像と相まってまるでコーナリングしているように知覚するという仕組みです．また，ブレーキ操作もセンサーにより圧力を検出し，サイクルトレーナに負荷を加えることで速度の変化にも対応させました．

WISS2022では，短い時間の中多くの人にお越しいただき体験してもらいました．皆さん，真剣に汗だくになるほど体験いただき，本物の自転車みたいとお褒めの言葉をいただきました．

今後のさらなる発展が楽しみです．

文責：三上

 

メディア学部の三上です．

11月11日（金）に公開され，現在も好調を維持し興行収入100億円超えも視野に入った新海誠監督作品『すずめの戸締まり』．

現在の三上・兼松研究室の前身である「コンテンツプロデューシング」の卒研プロジェクト出身の竹内良貴さんが，『君の名は。』，『天気の子』に続き，CG監督（3DCGチーフ，CGチーフ）として参加しています．

竹内さんは同じ学園の専門学校から転入で大学に進学，研究室で3DCGを利用した背景美術制作支援などについての卒業研究に取り組みました．高い制作スキルに加えて，作品全体の質の向上のために，より効率的な制作方法を俯瞰する大学の学びも身に着けました．そして，卒業研究ではそれを研究テーマとして成就させ，業界へと羽ばたいていきました．

ちなみに，在学中から新海誠監督作品にも携わり，3DCGチーフとして新海誠監督作品を支えてきました．『君の名は。』の頃は3DCGチーフといっても，スタッフの数は数名でしたが，今作はスタッフロールのCGスタッフの数を見て驚きました．正確な情報を待たないと確かな数はわからないのですが，ずらーっと50名近くがスクリーンに映し出されておりました．

スケールも大きくなった作品を裏側からしっかり支えているOBの活躍は頼もしい限りです．

ぜひ皆さんも劇場でご覧になってください．

メディア学部の三上です．

本日は三上・兼松研究室の岩田摩由利さんが，NICOGRAPH2022で発表した研究について紹介します．

この研究は三上・兼松研でも研究例のある，手描きによる作画の特徴をゲームで再現しようという研究の1つです．髪の毛はキャラクタの特徴を強く押し出す重要な構成要素の1つです．さらに，風にたなびく様子や書き上げる様子など，動きも伴います．

このような手描きによって表現されたキャラクタの髪の毛を，CGなどを利用してアニメなどに利用する事例は多くあります．その際には，髪の毛が自然とたなびくように物理シミュレーションにより動かしたり，これとは逆に，意図的に動かすためにモデルとして生成し意図的に動かしていく方法があります．

今回は，キャラクタの動きに合わせてリアルタイムに描画する，ゲームでの実装を想定し，アニメやゲームのキャラクタに用いられることの多い紙の束に対して制御するための骨格構造を入れる手法を採用しています．

この手法は，その後のビジュアル表現が容易であることや，演算コストが比較的低い点から，ゲームにおいてアニメ的な効果を加えるためにも適した技法なのですが，そのためにはたくさんの髪の束に制御するための骨格構造を与える必要があります．

そこで，自動（半自動）で髪の毛に骨格構造を与えようと渡来したのがこの研究です．現在はプロトタイプの実装が住んでおりますが，これから最終発表に向けさらなる実装を進めていきます．

文責：三上浩司

 

助教の戀津です。

昨日に引き続き、NICOGRAPH2022でのポスター発表の紹介です。
今日は中山和さんの研究の紹介です。
中山さんは初めての学会発表ですが、早いうちにポスター発表のやり方を掴みうまく説明をしてくれていました。

隣同士だったので昨日と同じ写真ですが、それぞれ学外の方にしっかり説明してくれています。

中山さんの研究は、恋愛リアリティショーにおける心理的距離の可視化というテーマです。
心理的距離、という名称を使っていますが、学術用語ではなく比喩的な表現の意図が近いです。
俗っぽい表現になってしまうので研究タイトルにはしませんでしたが、好感度とか親密度という方が近い表現です。

バチェラージャパンという、Amazonプライムビデオで配信していた恋愛リアリティショー形式の番組についての分析・可視化です。
バチェラージャパンは、一名の男性と多数の女性による恋愛リアリティショーで、基本的に女性が代わる代わるアプローチをしていきます。
それらのアプローチをエクセルにまとめつつ、時折ある男性側からのアプローチなども記録していきます。

この分析で得られたアプローチの種類や回数を使い、力学モデルでのグラフ描画を行ってみました。
女性男性問わず、弾き合う性質を持つ円の形で表現し、アプローチの数だけ間にばねを繋いでいきます。（男性側の行ったアプローチであれば6倍繋いでみています）
登場人物同士は弾き合う力で離れようとしつつ、アプローチ回数分繋がったばねによって引っ張られることで、力同士の釣り合う形で静止するような動きをします。

配信の話数ごとにアプローチの情報を適用し、釣り合った時の登場人物間の距離（男性と女性陣との距離）や配置が実際に配信を観て感じる距離感になるかを検証します。
主観を排した検証方法はまだ実現できていないですが、少なくとも番組を観て、分析をしている中山さん自身の印象としてかなり近いものにできているようです。

今後は分析方法の修正や繋ぐばねの数の再検討、他のシリーズの情報を入力しての比較などすることがいっぱいです。
今後の発展が楽しみです。

新しいメディア学の研究テーマに取り組んでいる全国唯一の健康メディアデザイン研究室の千種（ちぐさ）です。人体を健康メディアとしてとらえメディアを活用して自らの健康をデザインしたり、多くの人たちに役立つ健康改善するための健康アプリを制作するための研究を行っている研究室です。

最近、プロジェクションマッピングやＡＲ・ＶＲの活用において多数のＣＧ映像作品を見ることが増えてきました。そこで今回はその際に役に立つ映像テクニックあるいは心理学的効果として有名なクレショフ効果について紹介します。

Wikipediaによると、
「クレショフ効果」とは、映像群がモンタージュされ、映像の前後が変化することによって生じる意味や解釈の変化のことをいう。一般に映像の意味や解釈は、ほかの映像とのつながりのなかで相対的に決定されていく。本効果は、映画的な説話論の基礎である。

実験として、本効果のもつ意味論的伝染を強調するために、レフ・クレショフは、科学的経験（認知心理学）を開発した。クレショフは、ロシアの俳優イワン・モジューヒンのクローズアップのカットを選び、とくに無表情のものを選んだ。モジューヒンのカットを3つ用意し、3つの異なる映像を前に置いた。

第1のモンタージュでは、モジューヒンのカットの前に、スープ皿のクローズアップを置いた。 第2のモンタージュでは、スープ皿のかわりに、棺の中の遺体を置いた。 第3のモンタージュでは、棺の中の遺体のかわりに、ソファに横たわる女性を置いた。それぞれのシーケンスを見た後で、俳優（モジューヒン）があらわす感情を観客は述べなければならなかった。その結果、観客は、第1では空腹を感じ、第2では悲しみを感じ、第3では欲望を感じたと答えたのである。

とあります。実写映像出身者はこのクレショフ効果をきちんと学修していて、このをクレショフ効果をしっかりと活かしたカット割りを制作に取り入れています。端的に伝えたい意図を明確に鑑賞者に与えることができ、ナレーション不要です。これは言語不要とも言い換えることができます。つまり世界に通じる映像制作手法であると言えます。

このクレショフ効果を活かした作品制作は万能なので、知っているとより効果的な映像作品を制作できますね。

メディア学部の三上です．

本日も，大学院生の研究を紹介していこうと思います．今日の研究は王陳溢さんの「視野境界におけるVRゲーム視覚表現のための視野個人差の考慮」という研究です．こちらも日本デジタルゲーム学会夏季研究発表大会で発表しました．

ヘッドマウンテッドディスプレイ（HMD）を用いたバーチャルリアリティ（VR）ゲームは，広い視野角（100度前後）に映像を投影することで高い没入感を得ることができます．視野角が広い分，プレイヤーに「見えるか見えないか」の表現を行うときに，どこに表示させたらいいかの判断が難しいです．（通常のディスプレイであれば，画面の端に表示させたり消したりする表現ができます）

このような疑問もあって，VRゲームをプレイしているときに人はどれぐらいの領域まで認識しているのか，過去に大学院生も研究していました．そして，今回はそこに個人差があるのではないかという点から，個人に合わせてカスタマイズしたらより表現力を高めることができるのではないかということを考えました．

視野を計測するには，「ゴールドマン式視野計」という装置があり，中心部を注視しながら，執念の点が見えなくなるタイミングでボタンを押すことで，どの領域までみえているのかを計測する仕組みです．

本研究では，このような仕組みをHMDを装着した段階でできるようにゲームエンジンUnityを用いて実装しました．

開発したシステムのイメージ

 

完成したシステムを利用して，様々なプレイヤーに実験したり，一人のユーザーが複数回にわたって計測する実験をしました．その結果，プレイする人によってかなり計測された範囲が異なることがわかりました．また，このような個人差よりは小さいですが，同じプレイヤーであっても日によって違いがあることがわかりました．

今後は計測装置をさらに改善し，ゲーム演出を視野に合わせることで体験が高まるかどうか，実験を続けていきたいと思います．

文責：三上浩司

メディア学部の三上です．

本日も引き続き大学院生の研究を紹介します．こちらは于ソウキさんの「格闘ゲームにおける被ダメージによる部位損傷システムの開発」です．

格闘ゲームはプレイヤーを操作し，敵のキャラクタと戦うゲームです．プレイヤーが操作するキャラクタにはHP（ヒットポイント）があって，相手のヒットポイントを0にしたり，制限時間が来た時によりHPがのこっていたりすると勝つことができます．

しかし，実際の格闘技などの試合では，プレイヤーは徐々にダメージを受けていき，当初のように体を動かすことができなくなっていきます．このような現実の世界の現象をゲームに取り入れようという取り組みは過去にも多くありますし，実際にも用いられていることがあります．

しかし，ゲームとして楽しむことを考えると，あまりにシビアなシステムはゲームとしての楽しみにつながらないため，利用されないことがあります．例えばレースゲームなどを想像してもらうといいと思います．比較的シビアなゲームシステムを持つゲームはF1レースのゲームなどで存在します．敵の車とちょっと接触しただけでも車体にダメージを受け，ピットインを余儀なくされるゲームシステムが採用されていたりします．（それでも実際のレースよりもだいぶ簡略化しています）．一方で，敵のキャラクタと体当たりしながら競い合ういわゆるマリオカート的なゲームもあります．

レースゲームはある意味双方が成り立っているゲームジャンルですが，これを格闘ゲームの上でも採用し，シビアでリアルな表現を楽しんでもらうことはできないかと考えたのが，この研究のきっかけです．

キャラクタの致命的なパーツにはこべつのHPを設けたり，腕には別のHPを設けて一定以上で動作ができなくなるなどの仕組みを加えました．

実験の結果システムは好意的に受け入れられることが多いことがわかってきました．

今後はさらに，様々な要素を実装し比較実験をしていきながら，面白さを向上できるシビアなシステムや仕掛けを探っていきたいと思います．

 

実際に開発したシステムの例

 

文責：三上浩司

メディア学部の三上です．

本日は大学院生黒田まりあさんの研究発表を紹介します．

この研究は「ゲームにおける音響的特徴認識技術を利用した感情表現の活用」と題して，日本デジタルゲーム学会夏季研究発表大会で発表しました．

皆さんが普段会話する際に発する音声の音響的特徴を解析することで，発声している人の感情を推定することができたりします．この技術を活用してゲームプレイヤーの感情を推定することなどができます．

この研究では，こうした音響的特徴認識技術を利用して，プレイヤーが自分の感情をゲーム内のキャラクタに伝える，つまりはゲームのコントローラーの1つとして音声を使おうという研究です．

音声の音響的特徴解析には，過去にも卒業研究の学生が利用した「Userlocal」というシステムを利用します．ユーザーが入力した音声をUserlocalで解析し，感情の数値を取得し，その数値をゲームが取得して，相手のキャラクタの反応に応用しようという方法です．

 

実験のために，プレイヤーの発話が影響を及ぼしやすい，アドベンチャーゲーム（サウンドノベルゲーム）を作成しました．

まだまだ，実験の数は少ないので，これからこの技術をさらにうまくゲームに応用させていこうと思います．

分析：三上