大学院メディアサイエンス専攻修士2年の王　旭（おう きょく）さんの学会誌論文が採録されました。
　
　王 旭，渡辺大地，柿本正憲，2019，昼間の都市俯瞰画像からの夜景画像の生成，画像電子学会誌，48(3)，375-384
　
　都市の建物群を撮影した写真一枚から、同じアングルの夜景写真を自動計算で生成するという研究です。
　

　この分野は一般に画像のスタイル変換と呼ばれ、近年盛んに研究されています。AIによる画像認識はすっかり世の中に定着しています。画像のスタイル変換にもAI技術が使われます。
　
　ただ、夜景画像は特殊で、昼間には存在しなかった膨大な数の細かいけど明るい光が現れます。これは一般的なスタイル変換では扱いにくい対象です。今回の研究ではAIの手法は使わず、建物群の遠景画像を徹底的に分析し推定する方法を選びました。
　
　例えば、道路付近の街灯や店の灯りや車のヘッドライトなどが高層ビルを下から照らす効果も入れています。また、最終的に描画する細かい光は、色の種類が現実世界と同じような割合になるように工夫しています。1000枚近い既存の夜景写真を分析した結果です。
　
　現在、このような分析的な手法ではなく、日々進歩しているAIの技法をうまく使えるような手法を研究中です。成果が楽しみです。
　
　メディア学部　柿本正憲

こんにちは。今回は趣向を変えて、食品サンプルを学内に置いてみつつVRとの関係を考察しました。まずはスパゲッティのあるキャンパスの風景をお楽しみください。

研究棟Ｃ前のスパゲッティ

片研（片柳研究所）を臨むスパゲッティ

庭園とスパゲッティ

片研前の噴水とスパゲッティ

さて、食品サンプルですが世の中に役立つ研究にも使われています。ビュッフェ形式で食べ物を選び取る行動の研究で、本物の食品の代わりに使われています。例えば、１種類の野菜より複数種類の野菜から選べるような食事にしておくと、野菜を取る量が増えるということがわかったという研究があります[1]。どうすれば人が野菜をたくさん食べられるかを調べるのに活用されているのです。

さらに、上記のような食事のときの行動を調べる実験で、VRの食品サンプルでもできるということを示した研究もあります[2]。VRの食品を選ぶ行動と現実の食品サンプルを選ぶ行動とを比較すると高い相関がみられたというものです。写真ではなく現実感のあるVRだからこそ実際の食べ物を取るときと同じ感覚になるのかなと思います。レンダリング技術（CG描画技術）がさらにリアルになればなるほど食欲を誘って現実の食品摂取の行動に近づきそうですね。

店先でどういうメニューがあるか選ぶためだけでなく栄養学的な研究という意外なところで食品サンプルとVR食品サンプルが役立てられているというお話でした。

メディア技術コース　越智

参考文献

[1] Bucher, T., van der Horst, K., & Siegrist, M. (2011). Improvement of meal composition by vegetable variety. Public Health Nutrition, 14(8), 1357-1363.

[2] Ung, C. Y., Menozzi, M., Hartmann, C., & Siegrist, M. (2018). Innovations in consumer research: The virtual food buffet. Food quality and preference, 63, 12-17.

本ブログをご覧の皆様，こんにちは．

メディア学部教授 菊池 です．

本日のブログでは，「数式で髪を編む技術 － Procedural Hair Styling －」について紹介したいと思います．

CG で人型のキャラクターを制作する場合，肌や髪などの質感に加えて，表情や動作も人間そのもののようなリアリティのある表現が求められます．特に髪の表現に関しては様々なスタイルがあり，特定の髪型を制作することによってキャラクターの個性を引き出すことが可能となります．すなわち，ヘアースタイリングはキャラクターモデリングにおいて必要不可欠な要素です．

CG におけるヘアースタイリング技術は，人の写真から髪型の情報を読み取って自動的に生成するものが主流となっています．しかしながらこの手法は，三つ編みやお団子，短髪すぎるものなどの髪の流れる方向を読み取れないものには適していません．

そこで我々の研究室では，ガイドカーブを用いて三つ編みを作る Braid パラメータ，一定のカールを作る Coil パラメータ，およびランダムにカールを作る Curl パラメータの３つによって，複雑に編み込まれたような髪型でもパラメータを調整するだけでスタイリングが可能な技術を開発しました．
三つ編みにはリサージュ曲線を，カールヘアーにはヘリックスをそれぞれ制御関数として用い，上記３つのパラメータの変化でスタイリングを行います（図1参照，動画も公開中です）．


図1．スタイリング例

本研究は，「映像表現・芸術科学フォーラム 2019 [1] 」にて発表を行いました．

[1] 中村史穂，菊池 司，”ヘアーのプロシージャルモデリング”，映像表現・芸術科学フォーラム2019概要集


文責：菊池 司

こんにちは。最近はスマートフォンやスマートスピーカーなどで話し声を作り出して再生する「音声合成」技術の利用が広がっていますね。今回は最近の音声合成技術について、連載形式でお話します。

音声合成は、任意の文章（テキスト）を音声に変換することです。今日に実用化されている音声合成は、ゼロから音声の波形（音圧の時々刻々の変化）を作り出すのではなく、誰かの声の録音を材料として使って行います。2000年代初めまで主流だったのは、

1. 音声波形を短く切ってつなぎ合わせるもの（波形接続）
2. 一度パラメータに変換してからパラメータの系列を生成するもの（例えば隠れマルコフモデルを使った方法）

/k a/の合成のようす

でした。後者は、上図のように、ある確率でいろんな音ののパラメータを発生（出力）する「状態」（図のマルのところ）の系列を仮定して、出したい音に対応したパラメータを出力させていきます。

近年は、いわいるＡＩの技術のひとつであるディープラーニング（深層学習）が活用されています。ここで、簡単にディープラーニングを用いたニューラルネットを説明します。ニューラルネットは、神経の活動を模した学習モデルです。

神経細胞（ニューロン）同士が互いに結合して構成されています。基本的なモデルでは、ひとつひとつに何本かの入力（図では頭から延びる枝）と枝分かれしている出力（顔の下から延びる枝）の経路が付いています。

 

入力からは何らかの数値が入ってきます。この合計が小さいと出力がほとんど出ず（ここでは０）、ある値より大きいと「発火」して一気に大きな出力が（ここでは１）出ます。

出力された値には、次のニューロンに届くまでに「重み」と呼ばれる係数が掛け算されます。例えば、1に重み2.1をかけると値は2.1になりますね。全ての枝で重みが掛け算された後で次のニューロンの入力に入り、そこでまた合計が大きい場合に次の発火が起こります。

では、どうやってＡＩは「学習」されるのでしょうか。教師あり学習といわれる学習では、テキストから取り出した情報（発音やアクセントなど）と実際誰かが発声した音声（＝正解の情報）を使います。このデータの組を使ってＡＩにテキスト情報を入力したときの仮の出力と、実際の音声のデータとの差を計算すると、誤差が求まります。この誤差が小さくなっていくようにニューロンの枝の「重み」を微調整していく作業がニューラルネットの「学習」です。

次回は上記を使った音声合成技術の広がりについてお話しします。

メディア技術コース　越智

メディア学部健康メディアデザイン研究室の千種です。皆さんは「散布図」というものを使ったことあるいは作ったことがあるでしょうか？メディア学部の「メディア」とは皆さんご存知のように情報を伝達する媒体のことです。散布図も相関という情報を読み手に伝達する立派なメディアです。

散布図はWikipediaによると以下のよ    うに説明されています。
『散布図（さんぷず、英: scatter plot）は、縦軸、横軸に2項目の量や大きさ等を対応させ、データを点でプロットしたものである。分布図ともいう。各データは2項目の量や大きさ等を持ったものである。日本工業規格では、「二つの特性を横軸と縦軸とし，観測値を打点して作るグラフ表示」と定義している。散布図には、2項目の分布、相関関係を把握できる特長がある。データ群が右上がりに分布する傾向であれば正の相関があり、右下がりに分布する傾向であれば負の相関がある。』

2021年から大学入学共通テストが始まります。これに先立って2017年と2018年に試行調査(プレテスト)が行われました。その傾向を見ると、多くの教科で長い文章を読み取ったり、図表・グラフ・写真・絵・資料から必要な情報を探して答えを導いたりと、情報を多面的・多角的な視点で解釈する力や、もっている知識を活用しながら仮説を立てて考える力が問われています。

そこで今回のブログ記事ではグラフの中でも頻出されている散布図についてフォーカスしてみます。散布図は2つの異なる情報の特性あるいは関係を知るために様々な実験データを点として作るグラフです。実際に2017年のプレテストでは、散布図を用いた出題が、数学I・数学Aで１題、地理Bで２題、生物で1題、地学で1題、ありました。2018年のプレテストでは、地理Bで５題、物理で２題、地学で３題、あり、様々な実験データを見える化するのに広く使用されています。

簡単な典型例を下図に示します(http://www.toukei.metro.tokyo.jp/manabou/tyuu/sirou2/tokutyou2/ma1206t24b.htm より引用)。
前述のように散布図は、一般に何かの原因となる測定データがあり、同時に、その結果となる測定データもあり、その２つの関係を見える化するのに使用されます。まずは散布図の意味の解釈法あるいは読み取り方を説明したいと思います。

下図のように散布図には典型的な3パターンがあります。①左図：原因ｘが増加すると結果ｙも増加するという正の相関を示します。体重と身長の関係がこれに属します。②中央図：原因ｘが増加すると結果ｙが減少するという負の相関を示します。テレビからの音量について、テレビからの距離と音量の関係がこれに属します。③右図：原因ｘを変化させても結果ｙの変化に関係が観測できないという無相関を示します。ルーレットの１回目と２回目の出目の関係がこれに属します。

このように様々なデータの原因と結果の関係を分析するのにとても有益なグラフ表現法が散布図です。メディア学部の基礎演習Iでも千種が担当する演習テーマに使用して測定データの分析に使用し、照度の測定や電波強度の測定に使用して、測定結果を分析しています。

 

私は本が好きで、学会や旅行で行った先で本屋を見かけるとつい入ってしまいます。本が好きということについては、本の内容についての「好き」の他に、紙で綴じられた「本」という形態が好きであるという面もあるのではないかと思います。表紙のデザインや文字の印刷、挿絵などが魅力的で、外国語で書かれていて内容が読めなくてもモノとして素敵だと感じます。本はかさばるので電子書籍がいいという人も多いかもしれませんが、それは本の内容だけを対象とした考え方ですね。造形物としての本が好きな場合は、電子書籍では満足できないのです。といっても、格別の綺麗な本でなくて一般的な文庫本でも、新品のきれいな装丁の本で十分魅力的なものを感じてしまうことがあります。また、本が沢山並んでいるところを見ること自体も楽しく感じます。

 

  

左：台湾（台中）の書店、右：スペイン（バルセロナ）の書店

 

さて、色々な書店や図書館に行って共通することは、本の配置でしょう。普通、本はジャンル別に分けられ、さらに細かい分類や、小説などであれば著者別になって置かれています。そうすることで希望の本を見つけやすくなっているわけです。これは、本をその内容によって選ぶということを前提とした方法ですね。当たり前のように思いますが、世の中には少し異なったアプローチをしている例があります。

 

近畿大学の学生用の施設の工夫として、本が置かれている場所を迷路のようにしているというものがあります。道筋が斜めに入り組んでいてあえて迷うように作られているとのことです。本自体はジャンル別に配置しているようですが、あえて目的の場所にスムースに進めないようにすることで、興味あること以外の本との出会いがあるようにしているのです。大学という場であるため、学生により広い教養を持つようになってほしいということからこのような設計をしているのです。

 

別のアプローチは、どこの国だったか忘れてしまったのですが（スペイン？）、市場の中で本を売っている店があって、なんとそこでは肉のように本が量り売りされています！そうした値段付けが可能なのは中古本を扱う店だと思いますが、内容や元の定価などによらず、グラム当たりいくらというように値段付けがされています。普通、本の値段を重さで決めるなんてことはしませんね。本の価値を内容に依って決めているのではないことが明らかです。しかしながら、これは本の内容を無価値なものと考えた結果ではありません。店主によると、自分で選んで店に置いてある本はどれも価値のあるもので内容によって差別できるものではないため、内容でなく単純に物体としての違いとして重さによる値段付けをしているのだそうです。これは配置とは関係無いことでしたが、この考え方を適用して、重さ別に本を並べて置くということができそうですね。そうすることで、本の選び方が変わってきそうな気がします。外出のときに持ち歩く用に軽い本が欲しいと思って選ぶのであれば軽い重量の棚から本を探し、部屋に飾る重厚な本が欲しいという場合には最重量級の棚を探す、なんて選び方がでてくるかもしれません。

 

私達は、様々な事柄や方法について、現在のものを当たり前のものとして疑いもなく受け入れてしまっていることが多いと思いますが、そこに従来とは違う対象との関わり方を導入してみることによって、全く新しい価値が提示されることがあるのです。これは、人とモノとのインタラクションをデザインするということです。こうしたインタラクションのデザインという考え方で物事を見直すことによって従来のアプローチを便利にしたり楽しくしたりする可能性が多々あります。また、そうした人との関わりという視点を全く考えられていないなと不満に思うことが世の中には多々あります。私の研究室では、既存のものをデザインしなおす新しい視点、面白い視点を見つけるようなことをテーマとして取り上げたいと考えています。

 

 

太田高志

 

今は学会シーズンです。連続して３つの学会に行ったので、それぞれの特色を比較しつつ、学会ってどんな雰囲気なのかについて紹介します。

（１）国際会議IEVC2019

1. 画像がテーマ
2. インドネシアバリ島で行われた

サウンドの研究が専門の私はこの画像の学会で、画像と音を両方使った研究の発表を行いました。ＶＲなどを目指した360度映像・画像で臨場感の高いバイノーラル録音を活用する研究プロジェクトです。学会発表には大きく分けて、口頭発表とポスター発表の二種類があります。私は今回ポスター発表を行いました。口頭発表は通常の座学形式の発表で、プレゼンテーション＋会場からの質疑応答で構成されます、それに対し、ポスター発表とは、研究内容を印刷したＡ０サイズ程度の大きなポスターを壁に貼ってその前に立ち、見に来た学会参加者に対して直接説明するという形式です。一対多の口頭発表に比べてよりインタラクティブでありたくさんの意見を聞くことができます。今回は、画像やゲームなどに関わる研究者とそのコンテンツに付与する高臨場感がある音とはどういうものかについて活発に議論する機会を得ることができました。

ところで、IEVCは画像を扱う学会であることもあり、ポスター発表の発表者にも、全員の前で自分の発表の概要を１分で述べる時間（ファスト・フォワード）があります。例えばＣＧについての研究であれば、画像を載せたスライドを出して、聴衆の興味を引いてたくさんの人に聞きに来てもらうことができます。一人１分しかないため、発表者が列になって次々と入れ替わって話すという光景が見られます。

さらに、余談ですが、お昼休憩には地元のインドネシア料理の食堂に行きました。写真のようなスープを注文しました。あっさり味でのスープと、ご飯と、激辛唐辛子ソース（左上）の組み合わせがとてもおいしかったです。たいていの料理にライムが添えてあったり、レモングラスというハーブがふんだんに使われていて、辛さの中にも爽やかな清涼感を感じることができます。この学会参加を通じてインドネシアの食文化の奥深さとすばらしさを体験することができました。

（２）JSSFD（日本吃音・流暢性障害学会）

1. 医療系学会
2. 当事者（患者）・家族参加型
3. 今回は神奈川県

次は、がらっと変わって、国内の医療系学会です。筆者が助成金を受けて行っている研究プロジェクトに関わるテーマであり、特定の疾患を扱っている珍しい学会です。また、当事者と家族が参加しているという意味でも特色があり、患者にとっては自分たちの疾患の会に自分たちが参加せずに専門家だけで話し合われる、という従来の形の学会にはない画期的な交流が行われます。とくに、お昼にマイメッセージというプログラムがあり、経験談が語られて生の声が患者と専門家の間で共有されました。

（３）ASJ（日本音響学会）

1. 音がテーマ
2. 学際的・文理融合型
3. 今回は滋賀県

最後は、音響・音声・音楽など音を扱った学会についてです。音についてなら、言語を研究する人文系の専門家の話、音響教育、建築物での音の響きなどを扱う話、騒音の話、超音波の話など、なんでも含まれています。つまり、聞きたい音、消したい音、聞こえない音、色々な話題があるのです。たくさんの部屋に分かれて口頭発表やポスター発表が行われていて、色々聞いて回ることができます。質疑応答では、結構厳しく鋭い質問が飛んだりします。音を流す発表が多いので、いざ発表時に音が出ないということがないよう、発表者は入念に確認して発表に臨みます。

学生の皆さん、このように学会には様々な独自の特色があります。発表の時はドキドキ緊張すると思いますが、是非チャレンジして学外の人と意見交換して自分の研究に磨きをかけてください。

 

メディア技術コース　越智

渡辺です。こんにちは。

7/5の記事で「ゲーム理論」に関する解説を掲載したのですが、そこから随分間が空いてしまいました。当初は二週間くらいで投稿するつもりだったのですが、学生の研究発表やら採点やら学会やらが続いてしまい、ズルズルとこの時期まで延びてしまいました...

さて、この記事は前回の続きとなりますので、まずは前回記事をご覧下さい。そちらでは、「ゲーム理論」という学問領域の紹介を簡単に行っています。

ジョン・フォン・ノイマン(1903-1957) とオスカー・モルゲンシュタイン(1902-1977)により創始された「ゲーム理論」は、当初は社会や経済の世界の事象を数学的に記述していくことに重点が置かれました。これにより、これまで論述的にしか分析がなされなかったことを数学的に分析することが可能となったことは確かなのですが、それはあくまで「問題を数式として記述できた」ことを意味するだけで、具体的にどのように最適な解を求めることは困難と言えました。

これに対し、1950年にジョン・ナッシュ(1928-2015)が今では「ナッシュ均衡」と呼ばれる画期的な手法を発表しました。このナッシュ均衡を説明する前に、ゲーム理論における用語を先に説明しておきます。

まず、ゲーム理論とは「複数のプレイヤーが様々な行動を行いながら自身の利益を追求する様子を記述する」というものです。ここでいうプレイヤーは、通常のゲームのように各プレイヤーを指すときもありますし、企業同士の競争の場合は各企業、国同士の争いのときには各国が「プレイヤー」となります。また、プレイヤーは利益を得るために様々な行動を行っていきますが、この行動を「戦略」と呼びます。

ナッシュ均衡はこの「プレイヤー」「利益」「戦略」という用語を用いると、「どのプレイヤーも、現在選択している戦略と別の戦略を選択しても利益が上昇しない」という状態のことを言います。なぜこれが画期的だったかというと、多くの場面でこの「ナッシュ均衡」こそ全プレイヤーが合理的に判断した様子を表すからです。つまり、「シミュレーション」を行うことができるというわけですね。この考え方が提案されて以降、ゲーム理論ではまず最初にこの「ナッシュ均衡」を求めることがセオリーとなりました。また、ゲーム中のキャラクターAIを実現する上でも重要な考え方となっています。

では、プレイヤーはこの「ナッシュ均衡」に基づいた行動を取っていれば、常に最大の利益を得られると言えるのでしょうか？それについて、1950年にアルバート・タッカー(1905-1995)が「囚人のジレンマ」という強烈な事例を提示しました。

続きを読む "ゲーム理論とゲームについて(2) 「ナッシュ均衡」と「囚人のジレンマ」"

メディア学部コンテンツコースの鶴田です。

8/5のタオルで制作された象の記事はご覧になったでしょうか？気になったので自宅のバスタオルとフェイスタオルで作ってみました。

タオルのサイズは違うと思いますが、おおよそ復元できたかなと思います（頭が大きめ？）。頭部分のタオルが柔らかすぎて鼻や耳の辺りがうまく形成できませんでした。特に鼻の部分は少し水に塗らすとキュッと絞れて良さそうですね。

というか元のモデルを見直すと、かなりしっかりと形成されているので、濡らして絞った状態で乾かしているのかもしれません。実際に手を動かしてみると、意外な気づきがあるものです。

ちなみに、折り紙の世界でもウェットフォールディングという技術があります。気になった人は調べてみてください！

 

先月、タイに出張してきました。その時に滞在したホテルに写真のような象がベットにありました。大歓迎されていますね。
とっても素敵ですので、崩さないようにしたいところですが、コンピュータグラフィックスやモデリングの研究をしていますので、どうやって作っているのか、とても興味がわきました。



そこで、決心をして壊していくことにしました。

(1)ライトをきちんと当てて、形が分かるようにしました。

(2)頭の部分を触ってみたら、すぐに取れることが分かりました。

(3)頭と顔を正面から見てみます。

(4)耳の部分を展開していきます。

続きを読む "タイのホテルで見たタオルで制作された「かわいい象」の作り方　【おもしろメディア学】"