VRChatでつくるミュージカル映像-全体の進め方-
- k23as604
- 1月7日
- 読了時間: 4分
このプロジェクトは、「ひとりでも創れるミュージカル」をテーマに、VRChatを使ってミュージカル映像を制作する試みです。
現実の舞台のように大人数で集まらなくても、AIツールやVRの環境を使えば、ひとりでも音楽・演技・映像まで作ることができるんじゃないか？という発想から始まりました。
制作環境
~VRChat用~
Windows PC 1台
meta quest 3s 1台
~その他の制作用~
MacBook Pro 1台
制作ツール
Chat GPT
VRoid Studio
blender
Unity
VRChat
Suno AI
CoeFont
After Effects
1. 構想と台本づくり
最初の段階では、ミュージカル全体の構成とストーリーの流れを考えました。台本はChatGPTを使って対話しながら作成。セリフや場面転換、登場人物の心情をAIに提案してもらい、それをもとに自分の感覚に合わせて調整していきました。
前期の段階では、まだ撮影には入らず、・物語のテーマと構成・AI音楽や音声の試作・どんな演出がVRで可能かの調査を中心に進めました。
2. アバター制作
登場人物となるアバターは「VRoid Studio」で制作しました。衣装や髪型などをできるだけシンプルにしつつ、「現実と空想のあいだ」にいるような印象になるようデザインしました。
VRChat上で動かすには“Quest対応”が必要なため、ポリゴン数やテクスチャの調整に時間をかけました。最初のうちはアップロード時に崩れたり、うまく動かなかったりもありましたが、設定を変えながらモデルを最適化することで安定して動作するようになりました。
最適化の工程
VRMからUnityにエクスポート
Unity上で不要なマテリアル・シェーダを削除
Polygon Reducer（Unityプラグイン）で面数を削減
テクスチャサイズを2048→1024に変更
影の描画をOffにして軽量化
Quest対応シェーダ（lilToonなど）に置き換え
これでモデルが安定して動作するようになり、アップロード時の崩れもなくなりました。ただ、Quest対応にこだわらずPCVR撮影に切り替えた方が、表現面の自由度は高いです。
3. 音楽と音声の制作
音楽生成（Suno）
音楽はAIツール「Suno」で制作しました。設定は「musical」「major key」「orchestra」を共通に使用し、同じ歌詞でまず10曲生成。その中からメロディの雰囲気が作品に合うものを選び、印象的な部分を切り抜いて再入力し、再生成を10曲行いました。
この方法で、最初よりもメロディが整理され、“ミュージカルらしい抑揚”を持った曲を作ることができました。
音声生成（CoeFont）
セリフやナレーションは「CoeFont」を使用。登場人物の感情に合わせて声色を選び、ピッチや間を微調整しました。AI音声は感情の表現が単調になりやすいので、編集でテンポや間を調整することで自然な会話に近づける工夫をしています。
4. 撮影
音とセリフがそろった段階で、VRChat内での撮影を開始しました。カメラは固定し、グリーンバック撮影を採用。背景を後から差し替えることで、現実の舞台では難しいシーン転換の高速化を行いました。
演技は「座った状態」と「立って1メートル程度の範囲」で行い、どちらも大きな差はなく表現できることが分かりました。むしろ、手の動きや体の傾きといった小さなモーションの方が感情が伝わる感覚がありました。
アバターの表情差分を事前に複数用意しておくと、撮影時に表情を切り替えながら演技でき、より自然な印象になります。
また、1人で撮影する際には流し撮りが最適だと思われます。
撮影構成
OBS：映像収録（1080p, 24fps）
Spout2 Plugin：VRChatの映像をOBSに直接送信
カメラ：VRChat内カメラを固定設置
背景：VRChat内のカメラモードから、グリーンバックを使用
Spout2を使うことで、VRChatの映像をミラーキャプチャせずに高品質で録画できました。
5. カメラと演出
VRChatのカメラ機能では、撮影段階からエフェクトを適用できます。今回は、
青写真風フィルター：回想シーンの明確化
露光を下げる：心情の沈みを表現
カラー調整：場面のトーン統一
こうした演出を撮影の段階で作り込むことで、編集後に大きく手を加えなくても映像全体のトーンを統一できました。
6. 編集と合成
After Effectsで映像編集を行い、グリーンバックで撮影した素材を背景と合成。カメラの動きや光の方向を合わせることで、自然な空間の繋がりを作りました。また、AI音楽と映像のテンポを合わせるように配置し、セリフ・演技・音楽が一体化して見えるように調整しました。
7. 制作を通して感じたこと
この制作を通して、VRミュージカルは「映像」と「舞台」の中間にある表現だと感じました。身体の動きよりも、カメラの角度・光・空間の変化によって感情が伝わる場面が多く、まるで「映画の中で舞台をやっている」ような新しい感覚でした。
また、一人称に近いカメラ構成を取り入れれば、観客が登場人物の視点で物語を体験でき、没入感の高い演出ができると感じました。