VTuberと観客がリアルタイムで繋がるMRライブの実現

2025年1月、株式会社stuとANYCOLOR株式会社によって、VTuberを目の前に実在させる新たなリアルタイムMR（複合現実）ライブシステムが開発されました。このシステムは、観客とVTuberの境界を取り払い、ライブ体験を一新するものです。リアルタイムでVTuberのパフォーマンスを感じられるこの技術が、どのようにして実現されたのか、そして今後にどんな影響を及ぼすかを詳しく見ていきます。

新技術の実証実験

このライブシステムの実証実験は、「ANYCOLOR/にじさんじ新技術実証実験イベント ver.2025.01」において行われました。2日間にわたり、にじさんじ所属タレント「加賀美ハヤト」とMCの「百花繚乱」によるトークと音楽ライブが展開され、イベントはMeta Quest3とXperiaを介して体験できるMR形式で行われました。ここでは、来場者はまるでVTuberが目の前にいるかのような高臨場感のある体験を楽しみました。

MRライブがもたらす新体験

これまでのVTuberライブは、LEDモニターに映し出された映像を観る形式が主流でしたが、新開発のMRライブシステムにより、観客自身がVTuberの視点で体験できるようになりました。このシステムでは、低遅延でのデータ伝送を実現し、VTuber、司会者、観客がリアルタイムで互いにコミュニケーションを取ることが可能です。音声も従来のライブ同様、会場のスピーカーから出力されるため、臨場感が一層高まります。

技術の詳細

データ伝送技術

MRライブを実現する上で、キャラクターのモーションや演出信号を多数のデバイスに対して低遅延で送信することが重要です。そのため、ANYCOLORと共同で開発したデータ圧縮技術を基に、VTuberライブ専用の伝送システムを導入しました。このシステムにより、遅延や同期ズレを最小限に抑え、リアルタイムにリンクした魅力的なパフォーマンスを提供します。

高精度映像合成

また、実写とCG（コンピュータグラフィックス）の高精度な合成も課題でした。ライブイベントでは、ステージの背景やキャラクターの位置関係を正確に表現する必要がありますが、従来のAR/MR技術ではこの表現が困難でした。そこで新たな合成手法を開発し、キャラクターと会場の音声・照明が連動する新次元のMR合成技術を実現しました。

ネットワークインフラの再設計

MRライブを安定して実施するため、会場内のネットワーク環境も見直されました。従来の無線環境では多数のデバイスが同時にデータの送受信を行うには不十分でしたが、リアルタイムMRライブに適した機材を導入し、オペレーターの負担を軽減しつつ、安定したデータ配信を可能にしました。

今後の展望

この新しいMRライブシステムは、VTuber関連のエンターテイメントにとどまらず、ゲーム、展示会、テーマパーク、ショッピングモールなど、様々な分野に応用が期待されます。また、キャラクターIPの更なる身近さを感じさせる没入型体験を提供することで、今後も国内のキャラクターコンテンツのさらなる発展を促進していく意向です。

まとめ

今後のエンターテインメントシーンにおいて、VTuberが持つ魅力を最大限に引き出す新たな技術が急速に進化しています。このMRライブシステムは、観客との距離を縮め、かつてない自由度を持ったコンテンツを生み出す舞台となることでしょう。未来のライブ体験がどのように変化していくのか、ますます目が離せません。