こんにちは。伊藤彰教です。
VTuberをはじめとして、バーチャル空間内での音楽ライブ配信や声優トークイベントを楽しんでいる方も多くなってきたかと思います。現実空間では未成年だと入れない「クラブ」をVR空間内に作成し、自宅などから安全に音楽を楽しめる空間として、VRchatなどで盛んに制作が試されるようになりました。
当たり前すぎて見過ごされがちですが、こうした音楽や声を楽しむ仮想空間の構築に「音」の存在は欠かせません。音はどうやって仮想空間内に配置し、どのような形で視聴者にお届けすればよいのでしょうか。
ここで、現実空間においての音楽やトークイベントについておさらいをしてみます。
Sound Reinforcement (サウンド・リインフォースメント, SR)は、一般の方から「PA」と呼ばれている作業の専門用語です。イベント会場に巨大な、あるいは多数のスピーカを配置して、マイクや楽器の音量・音質のバランスを調整して、会場に適切な音を届ける仕事です。よく音楽のライブ会場で、観客席のまんなかあたりに機材がたくさん並んでいて、なにやら難しそうな操作をしている方々を見かけると思います。これらの方々のお仕事としては、当日の仕事だけではなく、何か月も前から会場の音響を計算してシステム設計を行い、限られた時間で説明・サウンドチェック・リハーサルをこなします。当日はステージ上の演奏家・実演家とともに「リアルタイムで同じステージを完成させる」ことになりますので、実演家としての素養も必要となります。
SRの責任者は、実演時間はFOHと呼ばれる場所にいて、時々刻々変化する音に対応する操作をします。FOHはFront of House(フロント・オブ・ハウス)の略で、たいていは観客席の中のどこかに陣取ります。こちらは、お客さまの位置から「いま、どんな音がしているのか。調整するとしたらどの音をどのように変化させるか。」を常にチェックするお仕事なので、ファンが音楽に没頭して楽しむのとはまた別の、冷静な判断力が要求されます。
バーチャル空間が「空間」である以上、ライブ空間・トークイベント空間もまた、仮想空間内でのSR、つまり音の調整が必要であるのは自明でしょう。ここで音響制作者としては、いろいろと考え込んでしまいます。
- 仮想空間内でのFOHってどうすればいいんだ?
- どこからなにを聴くことで音を調整すればいいんだ?
- 仮想空間内での聞こえ方をチェックするのは仮想空間外なのだが果たしてそんなシステムがあるのか?
などなどです。
こうした問題を一気に解決するのはまだまだ先になりそうですが、誰かが少しずつ課題を小分けにして、できることから取り組まなければいつまでたっても先にに進みません。伊藤彰教としては、このような課題に取り組むのも、サウンドデザイン研究・オーディオエンジニアリング研究のひとつだと考えています。
exSDプロジェクト所属の大学院生である村上輝さんは、コロナ禍真っただ中の学部生時代からネット配信のシステム構築や番組制作などを多数経験し、大学院生になった現在ではその経験からネット配信企業のインターンにも積極的に参加して、現場経験も深めてきました。その彼が行きついた課題は「バーチャル空間内に多数存在する音源のバランス制御などをするためには、まずそれらの音をバラバラに、現実世界でモニタリングできないと話が始まらない」という点でした。
この課題にアプローチするため、通常の音響機器やアプリだけではなく、メディアアートのためのツールを応用するなど大学らしい先端的な発想と実装力を元に、音声モニタリングツールを開発し、東京ゲームショウ2023の出展に関わる様々な配信でテストを重ねました。ここでえられた知見をもとに日本デジタルゲーム学会の2023年夏季研究大会にて研究成果を発表しました。おりしも特集テーマが「eSports」とのこともあり、ゲーム本体・プレイヤーのほかに、eSportsを支える重要な要素のひとつである「ゲームの試合イベントを配信する」という業務の観点から、しかも音の研究ということで注目を集めました。
この研究で、指導する側としても若者らしい興味深い点だと感心したのは、いわゆる「正確な物理シミュレーションだけでは、お客さまは満足しないだろう」という発想を研究に盛り込んでいることです。リアルイベントの会場に足を運んだ時は、様々なブースから漏れ聞こえてくる全体的なざわめきが「ああ、イベントに来たんだなぁ…」という実感を醸し出します。一方で、あるブースでイベントが行われた際には、お客さまは「意図的に他からの音を意識から排除し、お目当てのイベントの音をなんとか拾おうとする」という主観的な聴き方をしてしまう点も考慮して、研究を進めているようです。
また、ディジタルテクノロジーによる仮想空間では、FOHは必ずしも客席のどまんなかに設置する必要はなく、必要に応じて自在に配置できますし、音の大きさも必ずしも距離減衰の公式に当てはめる必要はなく「心情的・主観的に特定の音を選別して聴いている」ような、いわば「演出音響空間」を構築できるのがメリットです。これらをモニタリングするためのシステムとして、発展が期待されます。
メタバース、デジタル・ツインなど、今後も仮想空間での新たなメディア・コンテンツ・イベントが生み出され続けるが予想されます。現実空間だけではなく、仮想空間でも、実演家と視聴者を上手に結び付けられる「メディア」としてのサウンドデザインを担ってくれる、そんな若手研究者がメディア学部・メディアサイエンス専攻(大学院)に在籍していることを、頼もしく、心強く思います。
(画像はVTuberのトークイベントを想定したライブ配信番組の様子です)