インタラクション

今年も開催Global Game Jam 2023 (48時間世界同時ゲーム開発ハッカソン)

2023年1月 5日 (木) 投稿者: メディアコンテンツコース

メディア学部の三上です.

今年も世界同時ゲーム開発ハッカソン「Global Game Jam 2023」が開催されます.このイベントは2008年から企画され2009年に第1回が開催され,東京工科大学は第2回となる2010年から継続して会場運営をしています.

コロナ禍でハイブリッドな開催スタイルが増えてきたため,世界各地の会場である程度自由に開催期間を設けることができるようになりましたが,東京工科大学は日本におけるGGJの聖地でもあるので,オリジナルスケジュールに近い2月3日(金)から5日(日)の3日間で開催します.

昨今では,スマートフォンゲーム開発も開発チームが大型化,制作期間が長期化し,なかなか一つの作品を企画からリリースまで体験する機会が減ってきました.GGJがスタートした2000年代中盤もスマートフォンが隆盛する前ですので,ゲーム開発チームの巨大化し,開発期間が数年というのもざらでした.そんな中で,自分のたちの好きなゲームを週末だけチャレンジして作ろうという,朝鮮からスタートしました.

今では,ゲーム開発のための汎用的なゲームエンジンの性能向上もあり,ゲームハッカソンそのものはだいぶ環境が整ってきましたが,当時は開発ツールを整えるだけでも大変な苦労でした.

今では,海外からの参加者も含め,プロやアマチュアが集うゲーム開発イベントになりました.授業などの数か月スパンの開発ではなく,数日間という短い時間に凝縮されたゲーム開発体験を味わうことで,新たな気付きを得られるのは学生もプロも同じです.

興味があったらぜひ参加してみてください.

※東京工科大学会場は原則18歳以上のみ参加OKとしていますが,開発の様子をYoutubeなどを利用して配信しますのでぜひ楽しんでください.

 

東京工科大学GGJChannel https://www.youtube.com/@GGJTUTChannel

2020ggj21_20230110013601

2020ggj11_20230110013701

コロナ前のGGJ2020の様子



2023年1月 5日 (木)

ぬくもりをメカニクスに取り込んだゲーム体験の拡張(WISS2022報告)

2023年1月 4日 (水) 投稿者: メディアコンテンツコース

メディア学部の三上です

引き続いてWISS2022(インタラクティブシステムとソフトウェアに関するワークショップ)で発表した研究について紹介します.

こちらは大学院生の長谷川傑さんが開発した,温度提示を利用したボードゲーム用のデバイスにかかわる研究です.

ボードゲームなどとAR(拡張現実)技術を組み合わせて,体験を向上させる研究はいくつか事例があります.これに加えボードゲームで使うボードそのものも拡張してしまおうというのがこの研究です.

碁盤の目のようになっているボード一つ一つにアルミヒータが設置されており,それをゲームエンジンUnityとArduinoを用いて制御しています.まるで盤面の中に生物が潜んでいるような音感提示を与え,隠れている動物を探し出すコンテンツを開発しました.

2022wiss08

2022wiss07

現在はスマートフォンを通じてコンテンツを楽しんでいますが,これからさらなるデバイスへの発展も検討しています.

これからの進展に目が離せません.

文責:三上浩司

2023年1月 4日 (水)

VRを利用したバトミントンのトレーニングシステム(WISS2022報告)

2023年1月 3日 (火) 投稿者: メディアコンテンツコース

メディア学部の三上です

引き続きWISS2022(インタラクティブシステムとソフトウェアに関するワークショップ)で発表した大学院生の研究を紹介したいと思います.この研究はバトミントンのトレーニングのためのツールです.

前回の競技用自転車に続いて三上研究室は体育系かと思う割れるかもしれませんが,原則として学生が「実現したい」,「やってみたい」と思う研究を進めるのが三上研究室の特徴です.今回も大学院生の黒澤君がバトミントンの経験者であり,その経験から今回の研究の発案に至りました.

バトミントンの初心者にとって難しいラケットの握り方とそれをもとにしたラケットの振り方を,VR上で上級者のお手本映像に合わせて練習することができるツールを開発しました.スピードの調整津をしてゆっくりと再生させたり,ラケットの高さを調整する機能などを用意して,初心者がより正確に反復練習できるように作成しました.

2022wiss04

実験の結果,ビデオ教材などと比較しても大変分かりやすいという評価結果が出ており,バトミントンのトレーニングに効果があることが確認できました.

WISS2022では,実際に多くの人に体験してもらいながらさらなる支援について多くの議論ができました.

2022wiss05

文責:三上浩司

2023年1月 3日 (火)

競技用自転車の体験をVRで拡張する研究(WISS2022発表報告)

2023年1月 2日 (月) 投稿者: メディアコンテンツコース

メディア学部の三上です.

本日は,大学院生の渡邊拓斗さんの研究を紹介します.そのテーマは私の趣味でもある競技用自転車(ロードバイク)にかかわる研究です.

渡邊さんも趣味がロードバイクということもあり,協議自転車のトレーニングに使う装置を用いて,より高度なVRのロードバイクトレーナーを開発しようということで,学部のころから研究を進めてきました.

自転車のトレーナーコンテンツとしてはZWIFTというサービスがあり,オンライン上でつながっている仲間たちと競争するようなソーシャルサービスが展開されています.世界最高峰の自転車レースであるツール・ド・フランスのバーチャル開催などもされており,コロナ禍で注目を集めています.

そんな,トレーニングにさらなる臨場感を与えるためにヘッドマウンテッドディスプレイ(HMD)を使ってVR対応しようというアイデアは思いつくと思うのですが,レース中の体重移動や自転車の傾きなどは表現ができません.

そこで,そのような実際の自転車レースやスポーツ走行を体験できるように,自転車が傾いてコーナリングしている感覚を与えられるように,工夫した装置を作り,VRコンテンツと合わせて,ロードバイクの走行臨場感を高めようとする研究を進めました.

2022wiss03_20230110003401

ハンドルをロードバイクから分離させて,左右に傾くように工作しました.これによりプレイヤーの体も傾き,HMDの映像と相まってまるでコーナリングしているように知覚するという仕組みです.また,ブレーキ操作もセンサーにより圧力を検出し,サイクルトレーナに負荷を加えることで速度の変化にも対応させました.

WISS2022では,短い時間の中多くの人にお越しいただき体験してもらいました.皆さん,真剣に汗だくになるほど体験いただき,本物の自転車みたいとお褒めの言葉をいただきました.

2022wiss02

今後のさらなる発展が楽しみです.

文責:三上

 

2023年1月 2日 (月)

最先端のARやVRの制作の前に②エイゼンシュテインのモンタージュ理論

2022年10月18日 (火) 投稿者: メディア技術コース

新しいメディア学の研究テーマに取り組んでいる全国唯一の健康メディアデザイン研究室の千種(ちぐさ)です。人体を健康メディアとしてとらえメディアを活用して自らの健康をデザインしたり、多くの人たちに役立つ健康改善するための健康アプリを制作するための研究を行っている研究室です。

最近、プロジェクションマッピングやAR・VRの活用において多数のCG映像作品を見ることが増えてきました。そこで今回はその際に役に立つ映像テクニックあるいは心理学的効果として、前回のクレショフ効果につづき、最も有名なモンタージュについて紹介します。

モンタージュとは、日本の警察が犯人捜しで、目撃者がモンタージュ写真を選んでいくシーンがあまりに有名ですが、映画の世界ではちょっと意味合いが違います。今回はその中でもエンゼンシュテインのモンタージュ理論についての話題です。

Wikipediaによると
モンタージュ(montage)は、映画用語で、視点の異なる複数のカットを組み合わせて用いる技法のこと。元々はフランス語で「(機械の)組み立て」という意味。映像編集の基礎であるため、編集と同義で使われることも多い。

フィルムのつなぎ合わせが独自の意味をもたらすことは、映画の創成期から知られていた。たとえば米国エジソン社の『メアリー女王の処刑 (The Execution of Mary Stuart) 』(1895)では、撮影途中でわざとカメラを停止する「中止め」を用いて、首がギロチンで落ちるショッキングな演出を行った。また、映画の魔術師と呼ばれるメリエスは、編集によってさまざまな映像的トリックを試みただけでなく、『月世界旅行(Le voyage dans la Lune)』(1902)の最後のシーンでは「コマ撮り」のアニメーションを実現している。

この後のモンタージュ技法は、純丘曜彰によれば、大きく2つの方向へ分岐するとされる。一方はソ連の映画監督セルゲイ・エイゼンシュテインに代表されるエイゼンシュテイン・モンタージュであり、他方は米国の映画監督D・W・グリフィスに代表されるグリフィス・モンタージュである。

エイゼンシュテイン・モンタージュは、当時流行し始めたソシュールの構造主義の影響を受け、台本の言語的要素を映像に置き換えて編集していく手法であり、エイゼンシュテインの映画『戦艦ポチョムキン(1925年)』の「オデッサの階段」がその典型とされる。

Potemkinstairs

この現在ウクライナにあるオデッサ(オデーサ)の階段は、当時ソビエト連邦にはポチョムキンの階段と呼ばれ、今でも戦争中な場所で今現在このままであるかどうかはわかりません。

この映画史上最も有名なポチョムキンの階段シーン(オデッサの階段、1925Movie, Russia)についてのさらに詳しくした解説が以下になります。
https://kokai.jp/escalera-de-odesa/
ウクライナのオデーサ(オデッサ)にある長さ142mの「ポチョムキンの階段」を舞台とした、世界の映画史上最も有名な6分間シーンです。ソビエト連邦の映画監督セルゲイ・エイゼンシュテイン(ロシア語:Серге́й Миха́йлович Эйзенште́йн Sergéj Michájlovič Ėjzenštéjn, Sergei Mikhailovich Eisenstein)により、1925年に製作・公開された名作映画「戦艦ポチョムキン」のオデーサ市民に対する虐殺シーンです。エイゼンシュテイン監督は映画「戦艦ポチョムキン」で、有名な映像編集の基礎「モンタージュ理論」を確立させています。

モンタージュ理論を確立できたのは、セルゲイ・エイゼンシュテイン氏が一時期、日本人教師に漢字を習っていたからだという説があります。漢字という象形文字の持つ抽象的な概念をデザイン描写的に表現しているという基本コンセプトから、「身」と「美」で「躾」とか「口」と「鳥」で「鳴」になる等、全く別の意味になるという事に興味を持ち、このコンセプトを基にモンタージュ理論を確立したということです。

エイゼンシュテイン、プドフキン、グリゴーリ・アレクサンドロフの共同署名による「トーキー映画の未来(計画書)」(「トーキー宣言」)に、「モンタージュ」についてこう書かれています。

現代の映画は視覚的映像を操作することで、人間に強力に働きかける。当然ながら、その力はさまざまな芸術のなかでも首位の座を占めるものの一つである。映画にこのような強力な働きかけの力をあたえている基本的で唯一の手段は、明らかにモンタージュである。

モンタージュこそ働きかけの主要な手段であるという主張は、疑問の余地のない公理となっており、世界映画文化の磁石となっている。ソヴィエト映画が世界のスクリーンで収めた成功のほとんどは、ソヴィエト映画がはじめて発見し、確立した数多くのモンタージュ手法によるものである。だから、映画をより一層発展させる重要な要素は、観客に働きかけるモンタージュ手法を強化し、拡大することだけである。
山田和夫「エイゼンシュテイン」より


ここでの気づきで象形文字である「身」と「美」からそれぞれの意味を融合したり統合したり超越した意味である「躾」(しつけ)が出来上がることろが興味深いです。「口」と「鳥」で「鳴」となるのも興味深いですね。そして日本にはこのかな混じり漢字を使った俳句や短歌があります。これについても次回以降に紹介したいと思います。

さらにこのように映像のカットを巧妙に組み合わせることで極めて強い印象を視聴者に与えることができる、ということも興味深いです。そしてこのエンゼンシュテインのモンタージュ理論は時代の別の違った利用法をされていきます。これについても次回以降に!


2022年10月18日 (火)

最先端のARやVRの制作の前に①クレショフ効果

2022年10月17日 (月) 投稿者: メディア技術コース

新しいメディア学の研究テーマに取り組んでいる全国唯一の健康メディアデザイン研究室の千種(ちぐさ)です。人体を健康メディアとしてとらえメディアを活用して自らの健康をデザインしたり、多くの人たちに役立つ健康改善するための健康アプリを制作するための研究を行っている研究室です。

最近、プロジェクションマッピングやAR・VRの活用において多数のCG映像作品を見ることが増えてきました。そこで今回はその際に役に立つ映像テクニックあるいは心理学的効果として有名なクレショフ効果について紹介します。

Wikipediaによると、
「クレショフ効果」とは、映像群がモンタージュされ、映像の前後が変化することによって生じる意味や解釈の変化のことをいう。一般に映像の意味や解釈は、ほかの映像とのつながりのなかで相対的に決定されていく。本効果は、映画的な説話論の基礎である。

実験として、本効果のもつ意味論的伝染を強調するために、レフ・クレショフは、科学的経験(認知心理学)を開発した。クレショフは、ロシアの俳優イワン・モジューヒンのクローズアップのカットを選び、とくに無表情のものを選んだ。モジューヒンのカットを3つ用意し、3つの異なる映像を前に置いた。

第1のモンタージュでは、モジューヒンのカットの前に、スープ皿のクローズアップを置いた。 第2のモンタージュでは、スープ皿のかわりに、棺の中の遺体を置いた。 第3のモンタージュでは、棺の中の遺体のかわりに、ソファに横たわる女性を置いた。それぞれのシーケンスを見た後で、俳優(モジューヒン)があらわす感情を観客は述べなければならなかった。その結果、観客は、第1では空腹を感じ、第2では悲しみを感じ、第3では欲望を感じたと答えたのである。

とあります。実写映像出身者はこのクレショフ効果をきちんと学修していて、このをクレショフ効果をしっかりと活かしたカット割りを制作に取り入れています。端的に伝えたい意図を明確に鑑賞者に与えることができ、ナレーション不要です。これは言語不要とも言い換えることができます。つまり世界に通じる映像制作手法であると言えます。

このクレショフ効果を活かした作品制作は万能なので、知っているとより効果的な映像作品を制作できますね。

2022年10月17日 (月)

VRで視野のギリギリを攻めるには(日本デジタルゲーム学会夏季研究発表大会)

2022年10月12日 (水) 投稿者: メディアコンテンツコース

メディア学部の三上です.

本日も,大学院生の研究を紹介していこうと思います.今日の研究は王陳溢さんの「視野境界におけるVRゲーム視覚表現のための視野個人差の考慮」という研究です.こちらも日本デジタルゲーム学会夏季研究発表大会で発表しました.

ヘッドマウンテッドディスプレイ(HMD)を用いたバーチャルリアリティ(VR)ゲームは,広い視野角(100度前後)に映像を投影することで高い没入感を得ることができます.視野角が広い分,プレイヤーに「見えるか見えないか」の表現を行うときに,どこに表示させたらいいかの判断が難しいです.(通常のディスプレイであれば,画面の端に表示させたり消したりする表現ができます)

このような疑問もあって,VRゲームをプレイしているときに人はどれぐらいの領域まで認識しているのか,過去に大学院生も研究していました.そして,今回はそこに個人差があるのではないかという点から,個人に合わせてカスタマイズしたらより表現力を高めることができるのではないかということを考えました.

視野を計測するには,「ゴールドマン式視野計」という装置があり,中心部を注視しながら,執念の点が見えなくなるタイミングでボタンを押すことで,どの領域までみえているのかを計測する仕組みです.

本研究では,このような仕組みをHMDを装着した段階でできるようにゲームエンジンUnityを用いて実装しました.

20221015r03_01
開発したシステムのイメージ

 

完成したシステムを利用して,様々なプレイヤーに実験したり,一人のユーザーが複数回にわたって計測する実験をしました.その結果,プレイする人によってかなり計測された範囲が異なることがわかりました.また,このような個人差よりは小さいですが,同じプレイヤーであっても日によって違いがあることがわかりました.

今後は計測装置をさらに改善し,ゲーム演出を視野に合わせることで体験が高まるかどうか,実験を続けていきたいと思います.

文責:三上浩司

2022年10月12日 (水)

格闘ゲームのキャラクターが実際にダメージを受けて動けなくなるシステム(日本デジタルゲーム学会夏季研究発表大会)

2022年10月11日 (火) 投稿者: メディアコンテンツコース

メディア学部の三上です.

本日も引き続き大学院生の研究を紹介します.こちらは于ソウキさんの「格闘ゲームにおける被ダメージによる部位損傷システムの開発」です.

格闘ゲームはプレイヤーを操作し,敵のキャラクタと戦うゲームです.プレイヤーが操作するキャラクタにはHP(ヒットポイント)があって,相手のヒットポイントを0にしたり,制限時間が来た時によりHPがのこっていたりすると勝つことができます.

しかし,実際の格闘技などの試合では,プレイヤーは徐々にダメージを受けていき,当初のように体を動かすことができなくなっていきます.このような現実の世界の現象をゲームに取り入れようという取り組みは過去にも多くありますし,実際にも用いられていることがあります.

しかし,ゲームとして楽しむことを考えると,あまりにシビアなシステムはゲームとしての楽しみにつながらないため,利用されないことがあります.例えばレースゲームなどを想像してもらうといいと思います.比較的シビアなゲームシステムを持つゲームはF1レースのゲームなどで存在します.敵の車とちょっと接触しただけでも車体にダメージを受け,ピットインを余儀なくされるゲームシステムが採用されていたりします.(それでも実際のレースよりもだいぶ簡略化しています).一方で,敵のキャラクタと体当たりしながら競い合ういわゆるマリオカート的なゲームもあります.

レースゲームはある意味双方が成り立っているゲームジャンルですが,これを格闘ゲームの上でも採用し,シビアでリアルな表現を楽しんでもらうことはできないかと考えたのが,この研究のきっかけです.

キャラクタの致命的なパーツにはこべつのHPを設けたり,腕には別のHPを設けて一定以上で動作ができなくなるなどの仕組みを加えました.

実験の結果システムは好意的に受け入れられることが多いことがわかってきました.

今後はさらに,様々な要素を実装し比較実験をしていきながら,面白さを向上できるシビアなシステムや仕掛けを探っていきたいと思います.

 

20221015r02_01

実際に開発したシステムの例

 

文責:三上浩司

2022年10月11日 (火)

プレイヤーの音声を活用した感情表現のゲームへの応用(日本デジタルゲーム学会での発表)

2022年10月10日 (月) 投稿者: メディアコンテンツコース

メディア学部の三上です.

本日は大学院生黒田まりあさんの研究発表を紹介します.

この研究は「ゲームにおける音響的特徴認識技術を利用した感情表現の活用」と題して,日本デジタルゲーム学会夏季研究発表大会で発表しました.

皆さんが普段会話する際に発する音声の音響的特徴を解析することで,発声している人の感情を推定することができたりします.この技術を活用してゲームプレイヤーの感情を推定することなどができます.

この研究では,こうした音響的特徴認識技術を利用して,プレイヤーが自分の感情をゲーム内のキャラクタに伝える,つまりはゲームのコントローラーの1つとして音声を使おうという研究です.

音声の音響的特徴解析には,過去にも卒業研究の学生が利用した「Userlocal」というシステムを利用します.ユーザーが入力した音声をUserlocalで解析し,感情の数値を取得し,その数値をゲームが取得して,相手のキャラクタの反応に応用しようという方法です.

 

20221015r01_02_20221015170401

実験のために,プレイヤーの発話が影響を及ぼしやすい,アドベンチャーゲーム(サウンドノベルゲーム)を作成しました.

20221015r01_01

まだまだ,実験の数は少ないので,これからこの技術をさらにうまくゲームに応用させていこうと思います.

分析:三上

2022年10月10日 (月)

学生の制作したアプリ「Fireworks Festival」について

2022年9月25日 (日) 投稿者: メディアコンテンツコース

助教の戀津です。

先日の記事昨日の記事でそれぞれ紹介している、久保田舞さんの制作したアプリについて内容の紹介です。

久保田舞さんのアプリ「Fireworks Festival」は、花火大会をモチーフにしたアプリです。
海外にも花火はあるのですが、式典やお祝い等であげる用途が多く、花火そのものが目的となる花火大会の文化は日本独自のものです。
せっかく世界中から参加者の集まるコンテストなので、参加する自分自身の地域文化を紹介できるようなアプリにしようということで企画を考え、花火大会に至りました。

元々、プロジェクト演習「クリエイティブ・アプリケーション」では座学として美術史や文化の話も多くしていました。
人類が積み重ねてきた美の追求を知り、歴史を通じて多くの文化を知ることで、それらの文化のすばらしさや相対的・客観的に見た自国文化のよさにも気付けるようになります。
演習講師をお願いしている渡邉賢悟先生の経験上、そのようにして得られた知識・考え方がアプリ制作に重要ということで座学に取り入れていただいていましたが、まさにその成果が評価される形となりました。

アプリの内容は、川越しの夜景の中花火の玉がどんどん打ちあがるので、それをタッチすることで花火として炸裂するというものです。
花火大会の中でも、終盤に特によく行われる多数の花火が連続でどんどんあがる場面が文化的な珍しさと見かけの華やかさがあり、それを表現するアプリになりました。
序盤は少ししかあがらないのですが、終盤には追いきれないほど多くの玉があがり、タッチするたびにどんどん画面が華やかになっていきます。
最終的に時間内にタッチできた玉の数がスコアとして表示されます。

Fw

久保田さんは昨年度、音楽制作関係のプロジェクト演習も履修していました。
そこで得た技術で、BGMや花火炸裂時のSEなども自作しています。夜景画像も自身で作成したため、アプリ制作に必要な工程ほぼすべてを自身でやり切りました。
せっかくなので是非プレイ動画もご覧ください。

このアプリを、2週間という非常にタイトなスケジュールで企画から実装まで行い、世界的な場で評価された素晴らしい成果となりました。
来年のSwiftStudentChallengeにも是非出したいとのことなので、今から楽しみです。
もちろん、本学の皆様も応募対象者ですのでよければ挑戦してみてください。

2022年9月25日 (日)

より以前の記事一覧