メディア学部の加藤です。

2025年4月28日〜5月1日に横浜で開催された国際会議、ACM CHI 2025に参加してきました。
CHIは Human-Computer Interaction (HCI)の研究分野における、トップカンファレンスのひとつなのですが、
今年は 5,500人以上もの研究者が参加し、発表された論文（Full paper）も 1,249件と、過去最大の規模の会議となっていました。


今回、太田・加藤研究室からは 1件のポスター発表をしました。
詳細はこちら

来年、CHI 2026はスペイン・バルセロナで開催されるようです。
メディア学部からも引き続き、発表ができるよう、準備をしていこうと思います。

メディア学部の加藤です。

4月28日より、横浜で開催されている CHI2025に参加しています。
今年は、太田・加藤研究室からは Late breaking workセッションにて 1件の発表があります（発表は 29日 (火)）。
この研究は、昨年度 (2024年度)に太田・加藤研究室を卒業した、劉天鑑くんの卒業研究であり、VR空間内で日記を閲覧できるシステムを提案したものです。

スマートフォン上で日記の本文と、思い出の写真をアップロードすると、その写真に紐づけられたメタデータ(撮影日時、GPS情報など) をもとに、過去に訪れた環境（写真を撮影した場所）の VR空間が自動で生成されます。
ユーザは Meta Questなどの VRゴーグルを用いて、生成されたVR空間を閲覧することができます。
これにより、過去に訪れた環境を思い出しながら、日記を閲覧する体験を提供します。

提案システムでは、アップロードした写真の GPS情報から、Google Street Viewのパノラマ画像を取得します。
また、写真の撮影日時の情報をもとに、GAN (Generative Adversarial Network)によって、当時の環境（明るさ・天気など）を再現します。

論文は下記 URLから閲覧可能です。
https://dl.acm.org/doi/10.1145/3706599.3720170

メディア学部助教の栗原です。

本日は入学式ですね。改めまして、新入生のみなさまご入学おめでとうございます。

 

今回は前回に引き続き2024年度3月に行われたイベントについてです。

 

3.インタラクティブ作品展示会「応えるモノ、響くモノ」開催

こちらは3/16~3/19に八王子学園都市センターのギャラリーホールにて行われたインタラクティブ作品の展示になります(写真を撮り損ねてしまったため画像はありません)。

大学からの告知は以下になります。

https://www.teu.ac.jp/information/2025.html?id=66

夏にも行われた本展示会ではプロジェクト演習「デジタルコンテンツ表現＜インスタレーション＞」における成果を展示しています。

インタラクティブやインスタレーションという言葉はあまり聞かないかもしれません。

とても簡単にいうならば、何か(ヒトやモノ)に反応して何か(映像やモノ)が動くような作品になります。

それだけだとさらにわからないかもしれませんが、チームラボさんの展示を見たことがある方はそれを想像してもらえるとわかりやすいかもしれません。

本演習ではArduinoやセンサを用いた電子工作や主にProcessingを用いた映像制作の両方を自分たちで行い、自分たちが面白い、楽しいと思う作品を制作します。

学生によってはそれだけでなく3Dプリンタやレーザーカッターも使いながら思い思いのオリジナルな作品を制作していきます。

電子工作、3Dプリンタ、インタラクティブアートといったキーワードに興味のある新入生はぜひ履修してみてください(ちなみに多くの1年生が作品を制作し、展示することができました)。

 

メディア学部ではあまり目立たない分野かもしれませんが、実は色々な大学でこのような作品を制作する演習があります。

機械やコンピュータ技術を利用したコンテンツもメディア学部の目玉となってもらいたいと思ってます。

ちなみに、この分野についてメディア学部内でいくつかのプロジェクトが計画・進行中です。

まだまだお知らせできないのですが、決まり次第このブログでもお知らせしますので、どうぞお楽しみに。

 

本日はここまでにしたいと思います。またお会いしましょう。

技術コースの盧です．

前回はRAGのお話をしましたが，今回はその続き的な内容をお話します．

結論を先に書くと，真剣な情報検索には英語を使いましょう，とのことです．そもそも，情報の量と質，何れも日本語は英語に比べ物にならないからです．その典型的で良い比較になる例が一つあるので紹介します．

• Geri's Game - Wikipedia
• ゲーリーじいさんのチェス - Wikipedia

ここで例として挙げた Geri's game (Pixar, 1997) は，3Dアニメーションの歴史でかなり重要なアニメーション作品の一つです．アニメーションとしての面白さも勿論ありますが，この作品に先駆的な技術を導入した試作品としての意味が込められているから歴史的に重要な作品として扱われるわけです．

英語版の方は，全体の分量も長く，直接リンクを張っている技術(Technology)の部分だけで１ページ近くの分量が詰まっています．それに対し，日本語版は文書全部で１ページ程度の分量しかなく，内容もかなり浅いです．技術部分については，2~3行程度で軽く触れる程度で，その技術的な詳細部分も知っている人が分からない程度しか書かれていません．それなのに，トリビアとかが別途項目として独立して出ているなど，個人的には情報としてのバランス感もあまりよくないと感じます．日本語の文語は情報の圧縮率が高いとよく言われますが，資料の基本的な分量はその圧縮率を遥かに超えています．

さて，ここで以前お話したAIやRAGに戻ります．基本的にLLMに事前学習をさせる段階においても，まず英語と日本語とで資料となる文書の質が比べ物になりません．その上，情報検索しても出てくる資料もこの程度の差が出るので，生成型AIとしてもよい結果を生成するのは難しいわけです．

日々の生活に全て英語を使うのは至難でしょうし，私もそこまでは求めません．しかし，真剣な情報，特に卒研などでの情報検索は日本語という，地球規模ではローカルな言語は避けるべきかと思います．

技術コースの盧です．

ChatGPTがAIの代名詞みたくなっているような時代ですが，個人的には期待はずれの経験が多すぎて，もうChatGPTは使っていません．だと言って，私はこの類のサービスを全く使わないのか？それは違います．単純にChatGPTを使わないだけで，私も日々この類のサービスを使っています．

それで？私が何のサービスを使っているのか？こういう団体の公式ブログで直接サービスのお名前を載せると広告みたくなってしまうので敢えて実名は控えておきますが，私の主に使っているものの大枠だけ載せます．それは RAG (Retrieval-Augmented Generation) です．日本語では「検索拡張生成」とか訳されるそうです．

私はあくまで使う側の人間なので，仕組みについてそこまで詳しくありませんが軽く解説しておきます．

基本的にChatGPTみたいな最新のチャット・ボットは，裏に事前学習されたLLM(Large-Language Model)を持っており，質問をそのモデルに基づいて解釈し答えを生成してくれるような仕組みです．ここで，ChatGPTのようなLLMのみでは，答えを作る段階で事前学習されたデータにしか使えないため，構造的にいわゆる「嘘を吐く」幻覚(hallucination)現象が起きてしまいがちです．以前，どれほど使い物になるのか気になって，答えを知りながらも自分の専門の細かい内容だったり，趣味レベルでもかなり詳しい分野について質問したところ，個人的にはChatGPTの答えはもう信用できないと結論づけました．今は改善されている可能性はあると思いますが，構造的に一定水準以上の改善の余地がないのが分かっているのでもう個人的には使う意義を持ちません．

それに比べて，RAGは事前学習されたデータのみならず，裏で内容について検索を行った上，両方のデータに基づいて答えを生成してくれます．それで，基本的には下手な嘘は吐けない構造になっている訳です．なお，疑わしい結果に対しても元情報へのリンクを提供してくれてそこに辿れるわけで，出力結果への信頼性もかなり高いです．実際，いままで使ってて最終的には期待外れの答えを得た経験はあまりありませんでした．また，ちょっと意図とは違う結果が出てもすぐ修正プロムプトを入れれば良いです．基本的に結果への信頼性があるからこういう修正プロムプトを入れる甲斐があるわけです．

なので，私はChatGPTは全く使わないけど，こちらは頻繁に使っています．

もう、ひと月以上前の話になってしまいますが…。

10月初旬に今年のノーベル賞の発表がありました。巷では「AI祭り」とも呼ばれていたように、5つのノーベル賞のうち、2つがAI関連でした！受賞した方々の功績が素晴らしいものであることは間違いないのですが、別の意味で驚きをもって報じられました。ノーベル賞の科学関連の賞は医学生理学賞、物理学賞、化学賞の3つであり、計算機科学からはノーベル賞は取れない、といわれてました。もちろん、それぞれの分野に関連する形での受賞はこれまでもないわけではなく、今年のノーベル化学賞も本質は化学研究に対する大きな貢献があっての受賞です。それに対して、今年のノーベル物理学賞は、受賞者の一人が物理学者で着想店のひとつに物理学的考えがあったとはいえ、本質的な部分は計算機科学であるため、驚きの声が多かったように思えます。実際、受賞したジェフリー・ヒントン博士も受賞の際に驚きを隠さなかったといいます。

 

さて、今年のノーベル物理学賞の内容はというと、今の人工知能の基礎となる人工ニューラルネットワークの仕組みを作り上げたことによるものです。人工知能そのものは、人工ニューラルネットワーク以外にも様々な技術・仕組みがありますが、ここ10年で発展し注目されている人工知能の基盤は、人工ニューラルネットワークになります。人工ニューラルネットワークは人間の脳にある脳神経細胞およびそれが接続されたネットワーク構造をコンピュータ上でシミュレートしたものです。この10年での人工知能の普及・発展には欠かせない研究だったからこその受賞ということになります。個人的な感想としては、これらの発展について、同時期に多大な功績を残している日本人研究者の甘利俊一博士およびメディア学部で教鞭をとっていただいていたこともある福島邦彦博士が入っていないことが少し残念です。

 

一方、ノーベル化学賞については、人工知能を用いてタンパク質の構造を予測する、というものです。これまでは非常に難解な作業といわれていたタンパク質の構造をAIによって高精度に予測するというもので、化学や薬学の分野で非常に有効なものを作り上げました。

 

AIが実用的なツールとして使われるようになっており、今後、様々な分野で当たり前のように使われるようになるでしょう。メディア学部でも多くの研究室で、AI・機械学習・生成AIなどを用いた研究が行われています。近いうちに、情報リテラシーならぬAIリテラシーという授業を大学生だけでなく小中高生も受けるようになるかもしれません。

（メディア学部：藤澤公也）

　東京工科大学でも2023年度から学内システム（教職員向け）が刷新され、ペーパーレスの仕組みが導入されました。以前のブログ記事でその話題を出した際に「これまでいろんな会社に勤務したが『これぞ素晴らしい社内情報システム』というのはほとんど無かった」と言いました。
　
　今日は言ったことの回収です。数少ない素晴らしい社内システムの話をします。
　
　1995年、私は初めて外資系の会社（「シリコングラフィックス」）に転職しました。3次元CGのコンピュータシステムを売る会社で、製品開発は米国本社です。まだ一般にはPCも普及していない時代に、世界中の社員は一人一台自社製品を仕事で使っていました。PCよりもはるかに高価なワークステーション（WS）という製品です。
　
　
　
　写真はたまたま私の手元で今も保管している機種で、1995年当時私が使っていたものとまったく同型機です。ちなみに当時の価格は1,000万円以上です。シリコングラフィックスのCG用WSが爆売れしてバブルだった時代です。
　
　正確にはバブルというより競合製品に市場で打ち勝ち寡占となった結果の爆売れです。それほど良い製品だったことは確かです。米国本社の開発チームには天才たちが多数集まっていました。彼らがそのような優れた製品を次々と出せた理由はいくつもあります。今日のテーマの「素晴らしい社内システム」はそのうちの一つです。
　
　そのシステムは簡単なことです。各社員は設定さえすれば自分のWSのデータファイルの一部（指定したフォルダの下全部）を全社員から見ることができる、という暗黙の決まりがあったのです。具体的には、"guest"というユーザIDを使えば特定フォルダ下は見たりコピーしたりは自由とする文化です。
　
　もちろん、アクセスするためにはその社員の使うWSのホスト名を知る必要があります。メールで「この製品情報はaaaa（ホスト名）にあるよ」と一人あるいは複数人に知らせることができます。そしたら
　
　rlogin guest@aaaa
　
　と命令（遠隔マシンにログイン）をタイプすれば、パスワードなしでその後はその人が使うaaaaというWSのファイルを見たり自分のWSにコピーしたりできます。あるいはファイルの遠隔コピーだけであれば、教えてもらった場所を
　
　rcp guest@aaaa:~/product/info.sc .
　
　とタイプ（遠隔コピー）すればこの1行だけで情報を自分のWSに持ってこれます。ちなみに.scというのは今のPowerPointのようなソフト（"showcase"）のスライドファイルです（なつかしい）。
　
　このような文化が、世界中に1万人以上いる社員間の円滑なコミュニケーションにどれだけ役立ったか計り知れません。
　
　ついでですが、各WSはそのままWebサーバーにもなっていて、各社員は自分のWebページを全社員に公開できました。これもWSのホスト名だけは知らせる必要ありましたが。
　
　ちなみにシリコングラフィックスの米国本社はシリコンバレーのMountain Viewという街にあり、キャンパスと呼んでいました。2000年以降はPCに押されて製品は衰退し、会社は倒産し消滅しました。創業者を追い出したビジネススクール出のCEOが90年代半ばに下した経営判断のミスが理由です（結果論だけど）。広大な本社キャンパス敷地は、ほぼ全部の建物もそのまま居抜きでグーグル本社が入っています。
　
メディア学部　柿本正憲

メディア学部の三上です．

9月の授業開始直前に，企業から展示会のお招きがあり急遽ロンドンに弾丸ツアーに行きました．その際にエンタテインメント界隈で話題になっていた，アバターによるバーチャルコンサート「ABBA Voyage」を視察してきました．

ABBAは私たち（より上）の世代に絶大な人気を誇るアーティストなのですが，すでに高齢で，激しいライブを重ねるのはさすがに困難なのですが，その往年のライブをVFX制作会社として著名なIndustrial Light ＆Magicが制作を手掛けて実現しました．なんとしてでも見に行きたかったのですが，さすがにロンドンまでこのためだけに行くのは・・・と思っていたところでした．

さっそく，チケットを探したのですが幸い一人での視察になったので，意外といい席も取れました．（お値段はそれなりにしますが・・・）会場はロンドン郊外のオリンピック会場のそばに作られた特設のシアター．地下鉄の路線図を調べて乗り継いでいってきました．

シアターの外観

会場はステージ前のダンスフロア（椅子はなく上映中ずっと踊っている人の席）とアリーナ席という椅子に座って全体を眺める席がありました．私は全体の雰囲気をじっくり見たかったのでアリーナ席から参加しました．

シアター内部の様子

実際の映像は，高齢のメンバー超えたメンバーをモーションキャプチャーで収録，CGで制作する映像に利用しそれらをホログラムを利用して展示するという物です．
この体験は，言葉ではどうしても伝えにくいのですが，とにかく製作期間，費用，機材のスケールの大きさに驚くと同時に，今後このフォーマットで多くのイベントが開催される未来が容易に想像できました．

コンテンツにかかわる詳しいレポートはこちらを見てください．

LED MEGA MESHを応用した例（サッカーの選手入場に利用するイメージ）

メディア学部の三上です．

今回は少し前に，新進気鋭の映像制作会社MPLUSPLUSさんのでも映像制作に学生とともに参加したお話を紹介します．

MPLUSPLUS株式会社さんはアーティストのライブステージや，イベントの演出など，エンタテインメント分野で「テクノロジーの力で、常識を更新する」ことをモットーにしている企業です．

これまでにも「ピカチュウ大量発生チュウ！2019」や第67回NHK紅白歌合戦に出場した三代目 J Soul Brothersの楽曲「Welcome to TOKYO」の演出，さらにはF1ラスベガス・グランプリ（Formula 1 Heineken Silver Las Vegas Grand Prix 2023）のオープニングセレモニーなどで，ダンサーの動きや楽曲に合わせてLED照明を点滅させたり，特別なLEDシステムを利用することで，未踏の表現を次々と実現してきました．

そんなMPLUSPLUSさんの代表である藤本実さんは，以前東京工科大学メディア学部の助手として，三上研究室に所属になり，私の研究室のほか，渡辺先生や羽田先生，太田先生たちとも多くのプロジェクトを実施してくれました．

そんな藤本さんから，新しい映像演出の可能性をアピールするためにプロモーション動画を撮影したいと相談があり，大学のキャンパスを使い学生にも参加してもらう形で実現しました．

プロモーション映像のために，ドローン撮影チームを編成し望みました．本格的な撮影機材に参加した学生たちもシステム構成や操縦方法などに興味津々でした．

ドローン撮影のための機材

今回のプロモーション映像の目玉は「LED MEGA MESH」という巨大で軽量で形状が自在に変化できるLEDウォール．これに，LEDスーツを装着したダンサーとコラボレーションすることで見たこともない映像演出が実現するという仕組みです．

LED MEGA MESH

LEDスーツを装着したダンサー

この，LED MEGA MESHの特徴は何といっても軽量であること．LEDの点灯を制御プログラムを開発し，映像からLEDの色や点滅を遠隔制御し映像表現しています．軽量なのでドローンを使ってつかって上空を縦横無尽に映像スクリーンが飛び交う演出も実現しています．

そしてこのLED MEGA MESHの軽量である最大の特徴を生かし，今回は人が運ぶという演出にも挑戦しました．

LED MEGA MESHをもって移動する様子

LEDメッシュは透過するため，ディスプレイの奥にディスプレイが見えるという変わった表現も可能です．この研究棟Aから研究所棟に降りてくる坂を使った演出では，LEDディスプレイの奥に別の映像が透過して見える様子が良く伝わります．

 

このように未踏の技術を実現し，その魅力をでも映像を通じて多くの人に届けるための映像制作は，いつも新鮮は発見や驚きの連続です．撮影に参加した学生たちも，自分の研究や作品制作にあたり，新しい発想をどのように具現化していくのか，多くのことを学ぶことができたのではと思います．

完成した作品はMPLUSPLUSさんのWebページやYoutubeなどで公開されております．

 

 

 

 

 

メディア学部・技術コースの加藤です。

先月、5月10〜18日の間、国際学会ACM CHI2024に参加するためにハワイ出張に行きました。

ヒューマン・コンピュータ・インタラクション(HCI)の研究分野において最も規模が大きく、権威のある国際学会です。

今回、LINEヤフー研究所、お茶の水女子大学、東京大学との共同研究 FoodSkinという研究の口頭発表をしてきました。

ACM CHIという学会ですが、なんと来年は日本（横浜）にて開催されます！https://chi2025.acm.org/

せっかくなので来年は学生を連れて行きたいなぁ。

 

Kunihiro Kato*, Kaori Ikematsu*, Hiromi Nakamura, Hinako Suzaki, and Yuki Igarashi. FoodSkin: Fabricating Edible Gold Leaf Circuits on Food Surfaces. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (CHI'24), Article No.358, pp.1–17, (2024). (*joint first authors) [DOI] [Video] [Presentation Video]