メディア学部の三上です．

4月になり新学期の準備も忙しくなってきましたが，3月で卒業した学生たちの学会発表成果などを紹介していなかったので，少しずつBlogで紹介していこうと思います．

今年の春の学会はすべてオンラインでの開催となり，現地で様々な研究者と対面して交流するという機会はなくなってしまいましたが，オンラインで参加しやすいことからたくさんの来場者が来てくれた学会もあり，オンラインにはオンラインの良さを感じました．

オンライン学会はZoomなどのオンライン会議ツールを利用した開催になります．こんな感じにいろいろな人の顔やアイコンを見ることができます．

まず初回はダイジェストから．

 

映像表現・芸術科学フォーラム（2021年3月8日）

[1]伊藤颯爽, 兼松祥央, 茂木龍太, 三上浩司, “モバイルアプリにおけるアバター髪型のウェーブ”, カール編集システム ,映像表現・芸術科学フォーラム, 2021.3

[2]鈴木柚香, 兼松祥央, 茂木龍太, 三上浩司, “建築様式を考慮した神社の鳥居と社殿の制作支援システム” ,映像表現・芸術科学フォーラム, 2021.3

[3]関 竜太郎, 兼松祥央, 茂木龍太, 三上浩司, “アニメーション作品における変身シーンの演出設計支援システム” ,映像表現・芸術科学フォーラム, 2021.3

[4]林 祐希 兼松祥央, 茂木龍太, 三上浩司, “シルエット分析に基づく巨人キャラクターの制作支援手法” ,映像表現・芸術科学フォーラム, 2021.3

[5]原田晃太, 井上雄太, 末繁雄一, 兼松祥央, 茂木龍太, 三上浩司“アクティビティを考慮した公共空間計画におけるバーチャル支援システムに関する研究”，映像表現・芸術科学フォーラム, 2021.3

 

情報処理学会インタラクション2021（2021年3月10～12日）

[1]朱文イク, 兼松祥央, 茂木龍太, 羽田久一, 三上浩司, “温度刺激を活用した被弾感覚提示デバイスの開発”，インタラクション2021, 2021.3

[2]鍵和田悠太，兼松祥央，茂木龍太，三上浩司“VRでの画面占有を考慮した文字入力高速化の研究” ，インタラクション2021, 2021.3

 

日本デジタルゲーム学会第11回年次大会（2021年3月13日，14日）

[1]天野来偉,  兼松祥央, 茂木龍太, 三上浩司, “ホラーゲームにおける馴化回避のための動的サプライズ演出制御システムの提案”, 日本デジタルゲーム学会 第11回年次大会, 2021.3

[2]加藤大雅, 原田和明, 兼松祥央, 茂木龍太, 三上浩司, “GTIGA:ゲーミフィケーションに基づくアイデア創出・獲得トレーニングシステム”, 日本デジタルゲーム学会 第11回年次大会, 2021.3

[3]朱文イク, 兼松祥央, 茂木龍太, 羽田久一, 三上浩司, “Hat Vest: 温度刺激を活用した被弾感覚提示デバイスの開発”, 日本デジタルゲーム学会 第11回年次大会, 2021.3

[4]原田和明, 兼松祥央, 茂木龍太, 三上浩司, “プレイヤーの音声リアクションに基づく動的難易度調整のための音響的特徴量抽出と解析”, 日本デジタルゲーム学会 第11回年次大会, 2021.3

[5]長谷部肇也、安原広和、三上浩司　"ゲーム進行のテンポがプレイヤーの時間評価に及ぼす影響の研究" ,映像表現・芸術科学フォーラム, 2021.3（安原研）

 

このほかに大学院生の発表もありますが，まだ在学中ですので研究が発展したときにお知らせします！

 

助教の戀津です。
昨日の記事で紹介した春木さんの研究について、リミテーションという観点から追加のお話です。
（まだお読みでない方は先に紹介記事をお読みください）

春木さんの研究は、本来「実在の」樹木を対象とするものでした。
実在の樹木をもとに、その中のどの枝をどう剪定すると、剪定後にどのように生長するというのを予測・可視化するというものです。
樹木の適切な剪定には高度の知識と経験を要するため、そこを補助するというのが目的でした。

これを達成するためには、まずは実際の樹木の形状をPC等に取り込む必要があります。
そこで、研究開始当初は樹木情報の取り込み方法について調査をしていました。

フォトグラメトリと呼ばれる、対象物をたくさんの方向から見た写真を大量に撮ることで3DCGとして取り込む技術があります。
観光地の大きな建物や、人間大の石像、小さいものではフィギュアなどが対象としてよく取り込まれています。
原理上はiPhoneなどのスマートフォンでも行えるため、多くの研究者や技術者が日々精度の向上に打ち込んでいる技術です。

しかし、残念ながら調べた範囲では現在の技術では樹木のモデルを得るのには向いていませんでした。
上で挙げたような建造物や像などは、細かな部品はあるにしろ一つの大きな塊の物体です。
それに対し樹木は、葉があると枝の様子を確認することができず、また冬季など枝だけの状態ではスカスカの形状になるためうまく取得ができませんでした。
一定の空間内に多数の細い枝があるという状況では、撮影する角度を少し変えると手前や奥にある枝が違う映り込み方をするため、空間的な配置の認識が難しかったものと思います。
何とかして枝の情報を入力できないか、春木さんはずいぶん試行錯誤してくれましたが、最終的には「今回は実際の樹木を扱わない」という結論になりました。

前置きが長くなってしまいましたが、ここからが今回お話したいことです。
本来の目的は樹木の剪定を補助することなので、もちろん実際の樹木を入力できることがベストです。
しかし、この研究は樹木の枝を剪定した後にどのように生長するかをシミュレーションするのが一番重要なポイントです。
仮に樹木の情報を入力できても、生長シミュレーションができなければ目的を達成できません。
逆に、樹木の情報は実在のものでなくても、シミュレーション方法が確立されていれば仮の情報でシミュレーションができますし、今後技術が発展し実在の樹木を入力できるようになるかもしれません。

この場合、フォトグラメトリ等で実在の樹木の情報を取得できないことは技術的な課題で、生長シミュレーションが本質的な課題にあたります。
こういう時に、「この研究ではこの部分は取り扱わない」というものをリミテーションと呼び、将来的な課題として論文で挙げておくという方法があります。

同じような例として、VR技術の研究があります。ヘッドマウントディスプレイを装着した仮想空間体験は、理論やプロトタイプは1960年代には研究されていました。
当初は機材が大きすぎたり高価すぎたり、また精度も低いものでしたが、体験に関する理論の研究は進んでいました。
それから多くの時が経ち、多くの技術者が積み重ねてきた技術の進歩によって小型で安価な機材が市場に出回り、個人でもVR体験が行えるようになりました。
長い歴史をかけた壮大な分業ですね。これもまた研究活動の素晴らしい点です。

卒研という限られた期間において技術的な課題は必ずしも春木さん自身が解決する必要はないため、本質的な課題に注力するという決断をしました。
結果、生長予測と可視化部分の実装という形で成果を残し、学会発表も行う事ができました。

今後フォトグラメトリ（またはその他の技術）の精度が向上し、リアルタイムに目の前の樹木の形状を取得できるようになればより一層この研究の成果が輝きます。
その時が来るのを楽しみにしています。

助教の戀津です。
今年度もよろしくお願いします。

先日は中村君のラテアートの研究を紹介しました。
今回は同じく情報処理学会全国大会で発表したもう一件の研究についての紹介です。
春木萌さんが、『樹木剪定後の生長予測と可視化』というタイトルで発表してくれました。

樹木の剪定について、皆さんあまり馴染みはないと思います。
しかし街路樹や大学敷地内の樹木など、人通りのある個所にある樹木については基本的に人の手が入っています。
この剪定を行うときに、「枝葉が伸びてきたから切る」というだけでは済まない、専門の技術があります。

樹木の種類にもよるのですが、枝には内芽・外芽という芽がそれぞれついています。
厳密な説明をすると長くなりますが、内芽は幹の方に、外芽は外の方に枝が伸びる芽です。
剪定時に枝を切る位置によって、どちらの芽が枝となり伸びていくかが決まります。
次の図は内芽・外芽が発芽した場合にそれぞれどのように伸びるかの模式図です。

剪定後、この内芽と外芽のどちらから発芽するかによって樹の形は変わってきます。
枝の位置や伸びている向きなどを見極めながら、この枝からはどちらが発芽するとよいか考える必要があります。
樹の全体像を把握しつつ、剪定後の生長予測をするため、高度な専門性を要する仕事というわけです。

これに対し、剪定後どのように生長するかを予測・可視化するというのがこの研究の基本的なアイディアです。
3DCGで樹木を再現し、クリックによる枝の剪定と、どちらの芽が発芽するかによる剪定後の生長をシミュレーションしています。
次の図はこの研究で実装したシステムを使い、剪定後の生長予測を可視化したものです。

左が生長前、真ん中が内芽が発芽するように剪定した場合、右が外芽が発芽する場合の生長予測結果です。
剪定する枝の条件にもよりますが、内芽の方は樹形が乱れているのでこの場合は外芽が発芽するように剪定する方がよさそうですね。このようなシミュレーションができるようになっています。

この研究について話す上でもう一つ語りたい重要な内容があるのですが、長くなってしまいますので今回はここまでにしておきます。
明日の記事でまたお話します。

メディア学部の大淵です。

「映像表現・芸術科学フォーラム」での研究発表紹介の第3弾です。今日は「音楽編」です。

大学院生の渡邉卓也さんは「画像入力を用いたグラニュラーシンセサイザーのためのグレイン選択手法」という発表を行いました。このテーマでは、2019年の秋に開催されたNICOGRAPHという学会でも発表を行っています。そのときの様子はこちらで紹介しました。前回の発表は、修士課程での研究を始めたばかりで、アイディア紹介という感じのものだったのですが、今回は、修士論文を完成させて、その成果をすべて織り込んだ発表です。グレインと呼ばれる音の素片を画像と関連付けるために、代表的なグレインとサンプル画像を結びつけるアンケート結果を活用しました。

学部生の吉村佳祐さんは「ギターアンプの再現音とシミュレータ生成音の比較聴取実験」という発表を行いました。エレキギターの音を増幅するギターアンプには様々な機種があり、それぞれに音色が異なると言われています。自らもギターを弾く吉村さんは、このギターアンプごとの音色が、シミュレーターでどれぐらいリアルに再現できているのかということに興味を持ち、聴取アンケートを行いました。音色の違いを様々な形容詞で表現するSD法という手法を使い、機種ごとの違いなどについても調べています。

学部生の納富祐希さんは「音楽聴取における情動生成の要因分析手法の提案」という発表を行いました。もともと、音楽を聴いたときの「鳥肌が立つような」感じに興味を持っていた納富さんは、そうした情動が引き起こされるプロセスに興味を持ち、実験をしようと思ったのですが、あいにくのパンデミックで実験が行えません。そこで、インターネットを使った実験システムを考案し、ネット越しにデータを集めることに成功しました。得られたデータからは、様々な要因が情動を引き起こす様子を分析することができました。

音楽に関するテーマは、私の研究室でも一番人気です。自分で楽器を演奏する人、自分で作曲する人、あるいは聴くだけの人。音楽との関わり方は人それぞれですが、いろんなアプローチでの研究があって面白いですよ。

助教の戀津です。
今回は、3/18～20にオンラインで開催された、情報処理学会全国大会での発表のご報告です。

情報処理学会では、多くの投稿の中から似たジャンルの研究を10件前後まとめて、セッションという名前で発表会を行います。
そして、セッションごとに座長の選ぶ学生奨励賞というものがあります。およそ5～6件に1件程度選ばれるという形です。

私は柿本先生と一緒に卒研ゼミを担当していますが、情報処理学会は柿本・戀津研の研究内容と親和性が高く毎年何件か発表を行っています。
今年は2件の発表を行い、そのうち中村哲平君の『流量推定を用いたラテアートシミュレーション手法の提案』という研究が学生奨励賞を受賞しました！
去年は佐藤君と白崎君、一昨年は渋谷君が学生奨励賞を受賞しており、私の着任前から合わせるとなんと6年連続の受賞です。

研究内容は、タイトルの通りラテアートについてです。
ラテアートはエスプレッソコーヒーにフォームしたミルクを注ぎ、その注ぎ方によってカップの液面上に模様を作るというものです。
流体力学によるシミュレーションをしたり、CGでラテアートの再現を行う研究は多くされていますが、今回はラテアートを習得する際の練習過程に着目しています。

実際にラテアートを練習する時は、水を使って練習します。本物のエスプレッソとミルクを使いカップに注ぐと混ざってしまい回収ができず、一回ごとに材料費がかかってしまうためです。（また、材料を無駄にしないために毎回飲まないといけないですね）
しかしもちろん、水をカップに注いでもラテアートの模様は描けません。そこで、この研究では水を使って練習しながらラテアートの模様を描くことで練習効果の向上を目指しています。

ラテアートの練習という目的に対し、当初次のような方法を検討していました。

ピッチャー底部認識法と名付け、ゼミで検討をしていました。スマートフォンの画面に向かって注ぎ込むイメージで、実際のピッチャーを傾けるものです。
ピッチャーの底に円形のマーカーをつけ、内側カメラでマーカーがどのくらい楕円になって見えているかを検出することでピッチャーの傾きを検出、どのくらいミルクが注がれたかを計算するというものでした。

しかし、実際にこの方法を試行錯誤していたところ、意外とマーカーがうまく写らないことや、空っぽのピッチャーで注ぐ動作だけするのはイマイチといった欠点が見つかりました。
画面に向かって注ぐというのは大変直感的で魅力的ではあったのですが、本体が下にあることによって実際の水が注げないというのは大きな欠点でした。
そこで、中村君が新たに次のような方法を考えてくれました。

新しい手法では、カップに向かって実物の水を注ぐという実際の動作に大変近い形を取りながら、カップ上部に据えたスマートフォンの画面上にラテアートの模様を描画できるというものです。
フレキシブルアームを使う必要が出てしまいましたが、スマートフォンが上に来ることによって実際に水を注ぐことができるようになりました。
これは当時柿本先生も私も想定していなかった新しい着眼点でした。学生本人が自身の研究について一番時間を使い、考えてくることで教員の発想を超えてくれるのが卒業研究指導の一番嬉しい時と感じます。

これを実現するには、画像処理を使った水の流量推定やリアルタイムなシミュレーション、カップ上への描画など解決すべき課題が大変多く、残念ながら今年度内の研究では練習手法までの完成には至りませんでした。
しかし、流量推定実験の結果までをまとめたことと、このアイディアが研究の肝となり、冒頭に書いた通り学会でも評価していただけました。
研究室で引き継いで研究を進め、いつか完成させたいと思います。

メディア学部の大淵です。

少しあいだがあいてしまいましたが、引き続き「映像表現・芸術科学フォーラム」での研究発表を紹介させていただきます。今日は「環境音編」です。

大学院生の佐塚大樹さんは「ツーリング動画の自動音響シーン分析」という発表を行いました。バイクのツーリングのときに、バイノーラルマイクと360度カメラで音と映像を収録し、ツーリングの記録を作ろうということを目指しているのですが、動画を何時間も垂れ流しで再生しても、退屈なものになってしまいます。人間が編集してコンパクトにまとめれば良いのですが、編集というのもなかなか面倒な作業です。そこで、自動音響シーン分析と呼ばれる技術を使って、動画を様々なシーンに分割し、簡単に編集できるようにしようということを目指しています。今回の発表では、走行・停止・トンネルといった簡単な分類から始めて、一定の成果が得られることを示しました。

学部生の小松紗雪さんは「立体音響のヘッドホン再生に与える暗騒音の影響」という発表を行いました。この研究は、「バイノーラル録音のリアルな音をヘッドホンで聞かせたら、あたかも部屋の中で音がしたかのように騙すことは可能だろうか？」という疑問から始まったのですが、予備実験の被験者から「ヘッドホンから音が流れるときは、ザーッという暗騒音が流れるので、それでヘッドホンからだとわかってしまう」というコメントをもらったところで、研究の方向が変わりました。最初は単なる失敗実験だと思ったのですが、よくよく考えると、そういう現象は実際のコンテンツ制作の現場でも起きているはずであり、詳しく調べる価値があるということに気付いたのです。実際にいろんな条件で実験をしてみると、対象となる音の種類によって暗騒音の影響が異なるなど、興味深い現象が見つかりました。

騒音や環境音などを対象とした研究は、声や音楽の研究に比べると地味ですが、実生活に根ざした役に立つテーマが多いです。引き続きこういった分野にも力を入れていきたいと思っています。

 

みなさんこんにちは。伊藤彰教です。

2021年2月21日・22日にかけて、国内の音楽大学・芸術大学・理工系大学で音楽や音響作品を制作している学生の全国規模の作品展「インターカレッジソニックアーツフェスティバル2020」がオンラインにて開催されました。メディア学部からは、伊藤彰教研究室「exSDプロジェクト」に所属する学生３名が作品出展を実現いたしました。

メディア学部は研究論文を書くだけでなく、電子・ディジタル音楽の創作や音響アート作品制作も研究活動として取り組むことができます。本日はその一端をご紹介いたします♪

下のリンクから、作品解説や実際の作品を視聴できますが、どうやら期間限定とのこと。アクセスはぜひお早めに！
　

＜テクノトラックメイキングと数理アルゴリズム＞

４年生町田拓斗さんのテクノミュージックですが、世の中にあるものと一味違うと思います。それもそのはず。こちらでは音色を時事刻々変化させるために「遺伝的アルゴリズム」を用いていて、それを実現するプラグインを自分で開発してDAWに挿して使っています。だれにも作れないオリジナルの音色変化が常に隠されています。こちらは情報処理学会でも技術論文として発表しました。

 

＜レーザーハープ＆アナログシンセ ＞

３年生の川合雄佑さんのパフォーマンスです。センサーを用いたレーザーハープを自作のうえ、アナログシンセサイザと繋いで即興演奏を行っています。この演奏はちょっと聞くと「カラオケ」のようにも聞こえますが、この演奏は自動演奏トラックは一切ありません。全ての音をレーザーハープでリアルタイムで操作しています。

 

＜立体音響＆バイノーラル作品＞

４年生の山之下朝陽さんの作品です。本来であれば観客を取り囲むように多くのスピーカーでプロジェクションすることを意図した音響作品ですが、コロナ禍ということで急遽イヤフォンなどで聴ける「バイノーラル」という技術に挑戦した意欲的作品です。ぜひリンク先ではイヤフォン・ヘッドフォンでお楽しみください。この創作過程の様子は「学生・若手のためのAESジャパンフォーラム2020」にて学術発表をしました。「オンラインでのポスター発表」＆「立体音響作品」ということでプレゼンテーションの方法も苦心したようですが、360度動画とバイノーラル技術を用いた「作品でもあり学術プレゼンでもある発表資料」という素晴らしい方法を編み出してくれました。いままで世の中に存在しない方法に果敢に挑戦した例として発表でも高い評価をいただきました。

メディア学部では「アート＆テクノロジーが融合したメディア作品の制作」も推奨しています。この記事のように全国的にアピールできる発表の場も準備されています。在校生のみなさん、高校生のみなさん、そしてサウンドとテクノロジーの未来を描きたいみなさん。わたしたちと一緒に伸び伸びと創作・研究活動を楽しめることを心待ちにしています♪

皆さん、こんにちは！

3月26日(金)〜29日(月)に「バーチャルオープンキャンパスDAY」が開催されます。

　特設HPはこちら➡︎ https://jyuken.teu.ac.jp/jyuken/index.html#spcontent

動画配信・LIVE配信による大学紹介や各学部の紹介ほか、リアルタイムでのキャンパス見学会「コウカ散歩LIVE」など、オンラインならではの魅力溢れるイベントやコンテンツが目白押しです。配信は、4日間を通してのものと特定の日時のみのものがあります。また、事前申し込みが必要なものもありますので、タイムテーブルをご確認の上、ご視聴ください。

メディア学部に関連する配信は下記の通りです。

　◆「模擬授業」【オンデマンド動画】3/26(金)〜29日(月) 各日9:00〜24:00／27日(土) 13:00〜14:00／28日(日) 14:00〜15:00
　　・メディアコンテンツコース：『視覚でデータを分析する』［竹島由里子 教授］
　　・メディア技術コース：『AIが創る顔写真』［藤澤公也 講師］
　　・メディア社会コース：『メディアとSDGs』［吉岡英樹 講師］

　◆「研究(室)紹介」【オンデマンド動画】3/26(金) 〜29日(月) 各日9:00〜24:00／27日(土) 13:00〜14:00／28日(日) 14:00〜15:00
　　・『メディア学部の研究室とは／五感を操るテクノロジー（羽田研究室）』［羽田久一 教授］

　◆「大学・学部紹介(八王子)」【オンデマンド動画】3/27(土)・28(日) 10:00〜12:40
　　・大学と各学部の魅力を、学長と４学部の学部長が紹介します。


皆さまのご視聴・お申し込みをお待ちしています！

（文責：伊藤謙一郎）

今回は、学内の活動を紹介しましょう。去る2月1日（月）に、2020年度卒業研究の最終発表会が実施されました。当報告会は、4年次卒業研究の成果発表、そして大学生活総仕上げの、文字通り最後の学事になります。今年は下記、9名の学生が臨みました。当日のプログラムは以下の通りです。

10:00 A君       日本映画産業の現状と発展

10:15 S君        個人による動画配信によるビジネスについての研究

10:30 S君        日本国内でのesports業界のイベントについて

10:45 S君        デジタルオーディオプレーヤーの現状と今後

11:00 H君       アニメ業界の現状と展望

11:15 休憩       --           --

11:30 M君      オリンピックの経済効果について

11:45 Y君       アニメ業界の現状と課題と解決策

12:00 Kさん    遊園地の現状と課題

12:15 H君       ５大総合商社の現状と今後

当日は、コンテンツコースの安原先生がレビューアーとして臨席され、全学生の報告に対して一人づつ非常に丁寧なコメントをしていただきました。どの学生も日頃の研究成果を落ち着いて報告できました。この１年、遠隔ながら対面と同等以上の充実した研究活動の経験を踏まえ、もう間近に迫った社会人としての歩みを自信を持って進めてほしいと思います。

(メディア学部　榊俊吾)

本支部会では、例年高知大学まで遠征していましたが、今年は2021 年 2月 27 日(土) 13:30～16:50に、遠隔で実施しました。当ゼミからも、Y君が報告しました。

http://www.ssi.or.jp/committee/commit14.html

当日は、香川短期大学のN先生の基調講演を皮切りに、明治大学のG先生の実験経済学に関する招待公演、関東学院大学のH先生をはじめとした研究発表など計６件の研究報告が行われ、大変充実した研究発表会でした。

Y君の報告テーマは以下の通りです。

「アニメ業界の現状と問題点と解決策」

Y君の後に報告した島根大学の大学院生の研究テーマもアニメの聖地巡礼に関するものであったため、指導教官の野田哲夫先生からも質問、コメントが相次ぎ、活発な議論が行われました。

 

(メディア学部　榊俊吾)