皆さん、こんにちは。

メディア学部は1月30日から2月2日まで卒研発表会が集中開催されています。私たちのネットワークメディア研究室は2月1日に対面の口頭発表形式で最終発表会を実施しました。全員マスク着用ではありますが、対面で発表会ができたのは良かったと思います。レビュアーの森川先生にはたくさんのコメントをいただきました。また、2年生、3年生で参加してくれた人も多く、質問も出てよい発表会となりました。

今回の発表者は6名で、テーマは以下の通りです。

• 一方の絵に他方の絵の特徴を度合いを調整し付与するための手法の検討
• FPSゲームにおける射撃訓練のAIの検討と実装
• 合成音声を用いた講義動画における発話特徴の学習効果への影響
• Webを活用した高等学校までの情報科目の教材の提案と試作
• 画像分類における特定ラベルの正解率を上げる手法の考察
• BluetoothLEを用いたスマートフォンへの周囲環境通知システム

それぞれが興味を持つ分野の問題発見からテーマを設定し研究を進めてきましたが、時間切れで目標としたところまで到達できなかったテーマもありました。それでも、テーマを設定し、研究手法を検討し、実際に研究を進めて最後に評価実験を行う、そしてそれを論文にまとめ口頭で発表するというプロセスを経験したことはとても大きいと思います。なぜそうするの？なぜそれを選ぶの？なぜそう言えるの？としつこく責められた1年だったと思いますが、そのような考え方や進め方というのは各自の今後の進路において必ず役に立ちます。

あとは卒業論文の最終版の作成が残っています。1月に論文を提出後、発表の準備の過程で新たに考えが整理されたり、良い図やデータの示し方が分かったという人もいたはずです。発表会での指摘も踏まえ、完成に向けてあと少し頑張ってほしいです。

メディア学部　寺澤卓也

メディア学部の大淵です。

昨年秋のNICOGRAPHの発表を紹介するシリーズの最終回は、3年生の山崎祐奈さんの「機械学習を用いた声優の演技音声の特徴分析」です。

声を聞いて誰が話しているかを推定する技術は、世間では「声紋分析」と呼ばれることが多いですが、専門的には「話者識別」と呼ばれ、多くの研究が為されています。それに対して山崎さんが抱いた疑問は、「声優さんが異なるキャラクターを演じているとき、2つの声を『別の人の声』と言っていいのか？」というものでした。

聞いている人からすると、明らかに違うキャラクターの声なのですが、演じている人は一人ですから、使っている声帯も、声道(喉や口や鼻)の形も同じです。ではいったいどんなふうに違うキャラクターを演じているのか、それを声の特徴分析によって調べてみることにしました。

二人の声優さんがそれぞれいろんなキャラクターを演じている声のデータを集めてみました。その中には、同じキャラクターを二人の声優さんが演じているものもあります。それらを調べた結果、声優さんごとに、あるいはキャラクターごとに、時には声の音色そのもので違いを表現していたり、時にはイントネーションで違いを表現していたり、いろんなケースがあることが見えてきました。

今回は声優さん2名のデータでしたが、人数を増やしていけば、さらに面白い結果が見られるかもしれません。今後の研究にご期待ください。

メディア学部の大淵です。

年末の記事で、NICOGRAPHでの発表を2件ほど紹介しましたが、実はもう2件発表がありました。今日と明日とで紹介しようと思います。

3年生の田中涼太さんは、「機械学習を用いた異なる演奏シチュエーションにおけるエレキギターの音色の分類と分析」というタイトルで発表しました。エレキギターの演奏に影響を与える要素は様々ですが、それらの違いを、機械学習を通じて明らかにしようという研究です。

使用するピックを変えるとか、新しい弦と古い弦の違いを調べるといったあたりは想定の範囲内でしたが、他にも、座って弾くか立って弾くかとか、弦の高さを変えるとか、ギターに鉄板を貼り付けるとか、いろんなバリエーションを試してみました。田中さん自身がギターを弾くので、ギタリストの間で経験的に知られているいろんな要素を試してみたという感じです。

何度もギターを弾いて音を録音して、それをもとに機械学習を行い、音だけから条件を推定できるかを試してみました。鉄板の有無だけは70%ぐらいしか当てられませんでしたが、それ以外の条件は90%以上の精度で正解を当てることができ、音の違いをきちんと分析できることがわかりました。また、興味深かったのは、それぞれの条件により、音のどういう特徴に着目すべきかが異なっていたことです。例えば、弦の高さによる違いは、音の調和成分の強さとの関係が強く、弦が筐体に邪魔されずにしっかり振動しているかどうかに影響しているのではないかと推測することができます。

機械学習やAIを使った研究は、「精度が高い」というところに注目が集まりがちですが、どのように推定しているかの解釈の部分にも、いろいろ面白いことがありますね。

メディア学部の三上です

引き続いてWISS2022（インタラクティブシステムとソフトウェアに関するワークショップ）で発表した研究について紹介します．

こちらは大学院生の長谷川傑さんが開発した，温度提示を利用したボードゲーム用のデバイスにかかわる研究です．

ボードゲームなどとAR（拡張現実）技術を組み合わせて，体験を向上させる研究はいくつか事例があります．これに加えボードゲームで使うボードそのものも拡張してしまおうというのがこの研究です．

碁盤の目のようになっているボード一つ一つにアルミヒータが設置されており，それをゲームエンジンUnityとArduinoを用いて制御しています．まるで盤面の中に生物が潜んでいるような音感提示を与え，隠れている動物を探し出すコンテンツを開発しました．

現在はスマートフォンを通じてコンテンツを楽しんでいますが，これからさらなるデバイスへの発展も検討しています．

これからの進展に目が離せません．

文責：三上浩司

メディア学部の三上です

引き続きWISS2022（インタラクティブシステムとソフトウェアに関するワークショップ）で発表した大学院生の研究を紹介したいと思います．この研究はバトミントンのトレーニングのためのツールです．

前回の競技用自転車に続いて三上研究室は体育系かと思う割れるかもしれませんが，原則として学生が「実現したい」，「やってみたい」と思う研究を進めるのが三上研究室の特徴です．今回も大学院生の黒澤君がバトミントンの経験者であり，その経験から今回の研究の発案に至りました．

バトミントンの初心者にとって難しいラケットの握り方とそれをもとにしたラケットの振り方を，VR上で上級者のお手本映像に合わせて練習することができるツールを開発しました．スピードの調整津をしてゆっくりと再生させたり，ラケットの高さを調整する機能などを用意して，初心者がより正確に反復練習できるように作成しました．

実験の結果，ビデオ教材などと比較しても大変分かりやすいという評価結果が出ており，バトミントンのトレーニングに効果があることが確認できました．

WISS2022では，実際に多くの人に体験してもらいながらさらなる支援について多くの議論ができました．

文責：三上浩司

メディア学部の三上です．

本日は，大学院生の渡邊拓斗さんの研究を紹介します．そのテーマは私の趣味でもある競技用自転車（ロードバイク）にかかわる研究です．

渡邊さんも趣味がロードバイクということもあり，協議自転車のトレーニングに使う装置を用いて，より高度なVRのロードバイクトレーナーを開発しようということで，学部のころから研究を進めてきました．

自転車のトレーナーコンテンツとしてはZWIFTというサービスがあり，オンライン上でつながっている仲間たちと競争するようなソーシャルサービスが展開されています．世界最高峰の自転車レースであるツール・ド・フランスのバーチャル開催などもされており，コロナ禍で注目を集めています．

そんな，トレーニングにさらなる臨場感を与えるためにヘッドマウンテッドディスプレイ（HMD）を使ってVR対応しようというアイデアは思いつくと思うのですが，レース中の体重移動や自転車の傾きなどは表現ができません．

そこで，そのような実際の自転車レースやスポーツ走行を体験できるように，自転車が傾いてコーナリングしている感覚を与えられるように，工夫した装置を作り，VRコンテンツと合わせて，ロードバイクの走行臨場感を高めようとする研究を進めました．

ハンドルをロードバイクから分離させて，左右に傾くように工作しました．これによりプレイヤーの体も傾き，HMDの映像と相まってまるでコーナリングしているように知覚するという仕組みです．また，ブレーキ操作もセンサーにより圧力を検出し，サイクルトレーナに負荷を加えることで速度の変化にも対応させました．

WISS2022では，短い時間の中多くの人にお越しいただき体験してもらいました．皆さん，真剣に汗だくになるほど体験いただき，本物の自転車みたいとお褒めの言葉をいただきました．

今後のさらなる発展が楽しみです．

文責：三上

 

ことばを楽しく覚えるアプリ「Vocagraphy」を開発することを決めた時から、動画を扱えるようにしたいという願望がありました。なぜなら、難聴児である娘に動詞を教えるのに苦労をしたからです。

そして、ついに2022年10月末に「Vocagraphy+」をリリースし、GIF動画を取り込めるようになりました。テキスト画像生成という機能も追加し、文章題に対応できるようになりました。これまでは、パワーポイントで文章題を作り、それを画像で書き出して、アプリに取り込んでいました。この作業がめんどくさいと思い今回の機能追加をしました。

難聴児の家庭学習では、どうしても紙と鉛筆で勉強することが多く、しかも不得意な勉強になるとなかなか前に進まないことがあります。同じことを繰り返していても、子どももストレスが溜まりますし、それを見ている保護者の負担も大きくなります。それよりも、スマホアプリで楽しく学べる方が良いですね。

このアプリは難聴児だけでなく、発達障害児をもつ保護者の方や、大人の方でも失語症のリハビリに使って頂いています。また障害がなくとも、語学を学習したり、なかなか覚えられない勉強をするのにも使えます。ぜひ、自分なりの使い方を見つけてください。

 

---

メディア学部　吉岡 英樹

略歴：バークリー音楽院ミュージックシンセシス科卒業後、（有）ウーロン舎に入社しMr.ChildrenやMy Little Loverなどのレコーディングスタッフや小林武史プロデューサーのマネージャーをつとめる。退社後ＣＭ音楽の作曲家やモバイルコンテンツのサウンドクリエイターなどを経て現職。１年次科目「音楽産業入門」を担当。現在は聴覚障害支援を専門としており、メディア専門演習「聴覚障害理解とコミュニケーション支援」、聴覚障害支援メディア研究室 を担当している。

---

 

メディア学部の大淵です。

先日に続き、NICOGRAPHでの発表を紹介します。3年生の首藤拓海さんの「人の主観評価基準に基づく声のハーモニーのAI自動分類」です。このブログでも何度か紹介していますが、「先端メディアゼミナール」という科目を履修することで、3年生のうちから卒業研究に準じる活動をして、その成果を発表したものです。

この研究では、二人で合唱したときの「ハモり」に着目して、どんな声の組み合わせが人間にとって綺麗に聞こえるのかを調べました。単独で録音した声をコンピューター上でハモらせて、それを別の人に聞いてもらって良し悪しを判定してもらいました。そのようなデータが集まれば、あとはAIによる自動分類ができるはずだというのは、当研究室の定番のアプローチです。

ただ、今回はなかなか大量のデータが集められないので苦労しました。録音データを細切れにするなどしてデータ量を増やしたのですが、それでも限界があります。そこで思いついたのが、ボーカロイドによる合成音声を、人間の声にハモらせてみたらどうだろうということです。ボーカロイドの声にもいろんな声質のものがあって、なかなか面白いデータを取ることができました。

正直なところ、最初は「どうせ上手い人の声は誰と組み合わせても高評価で、下手な人の声は誰と組み合わせても低評価なんじゃないかな」と思っていたのですが、実際にやってみると、意外と「組み合わせの妙」のようなものがあって、面白い結果が得られました。ハモりに関する研究は、まだまだできることがいろいろありそうです。

メディア学部の大淵です。

少し前の話になりますが、11月の4～6日に開催されたNICOGRAPHという学会に行ってきました。会場は、金沢の郊外にある北陸先端科学技術大学院大学(通称JAIST)です。学会自体は対面とオンラインのハイブリッド開催だったのですが、私の研究室からは全員が対面で参加しました。私自身、最近はずっとオンライン学会が続いていたので、リアルな学会は2年ぶりです。その中から、当研究室の発表を紹介しようと思います。

大学院生の山本悠太さんは、「リズムパターンデータベース整備のための自動ラベリングの検討」というタイトルで発表しました。コンピューターを使って曲を作るときに、ドラムパートをどうやって作るかというのは、初心者にとっては結構悩ましいことです。例えばスネアひとつ取っても、個々の楽器ごとに音色は様々です。ドラムを構成するいろんな楽器について、そうした音色を決めたら、今度は打音のパターンです。同じ4拍子でも、単純に「タン、タン、タン、タン」と叩くこともあれば、「タン、タタタン」と叩くこともできるし、いろんなパターンが考えられます。

こうした音色やパターンは、楽曲制作ソフトのデータベースとして大量に用意されているのですが、問題は、自分のフィーリングにあったものをどうやって見つけるかです。そこで山本さんは、自然言語処理技術を使って、どんな言葉を入力しても、それに近い音色とパターンを見つけてくれるシステムを作ることにしました。

こうしたシステムを作るのはなかなか壮大な目標ですが、そのためにまず必要なのが、音色やパターンをいろんな言葉と結び付けたデータベースを準備することです。今回の発表は、その点にこだわり、特にパターン同士の類似度に基づくラベル付けの方法を提案しました。システム全体の完成までには、他にもやらなければならないことが沢山ありますが、まずは着実な一歩を刻んだという感じです。

メディア学部の三上です．

本日は三上・兼松研究室の岩田摩由利さんが，NICOGRAPH2022で発表した研究について紹介します．

この研究は三上・兼松研でも研究例のある，手描きによる作画の特徴をゲームで再現しようという研究の1つです．髪の毛はキャラクタの特徴を強く押し出す重要な構成要素の1つです．さらに，風にたなびく様子や書き上げる様子など，動きも伴います．

このような手描きによって表現されたキャラクタの髪の毛を，CGなどを利用してアニメなどに利用する事例は多くあります．その際には，髪の毛が自然とたなびくように物理シミュレーションにより動かしたり，これとは逆に，意図的に動かすためにモデルとして生成し意図的に動かしていく方法があります．

今回は，キャラクタの動きに合わせてリアルタイムに描画する，ゲームでの実装を想定し，アニメやゲームのキャラクタに用いられることの多い紙の束に対して制御するための骨格構造を入れる手法を採用しています．

この手法は，その後のビジュアル表現が容易であることや，演算コストが比較的低い点から，ゲームにおいてアニメ的な効果を加えるためにも適した技法なのですが，そのためにはたくさんの髪の束に制御するための骨格構造を与える必要があります．

そこで，自動（半自動）で髪の毛に骨格構造を与えようと渡来したのがこの研究です．現在はプロトタイプの実装が住んでおりますが，これから最終発表に向けさらなる実装を進めていきます．

文責：三上浩司