VRケンハモ演奏配信

めちゃくちゃかわいい。

以前から生放送をやっていたのですが、最近VR環境が整ったことからバーチャル演奏というものが出来ないかと模索しています。
昨日のMIDIメロディオンの記事もそのためのもので、要は夜に配信するときにサイレントで出来ないかという所から始まったものです。

楽器については昨日の記事の通りで、そのほかについては
●配信サービス
バーチャルキャストの様子をニコニコ生放送で配信しています。
当初バーチャルキャストを使えばもう勝手に配信してくれるものと思ったんですが、実際はその様子をニコニコ生放送で配信しないといけないということをバーチャル空間内で教えてもらいました……。

●音声
・オーディオインターフェイスに音を取り込む
今はsteinbergのUR12というモデルを使っています。これに「ループバック」という「PCから出る音楽や声などの音をそのまま出力する」機能があり、マイクは直接ヘッドセットマイクから入力、MIDIメロディオンはCubaseという作曲ソフト(DAW)から出るソフトシンセの音をループバックで同様にPCから出すようにしています。

●配信ソフト
定番のOBSです。合わせてニコニコ生放送で配信のためのキーを取得するプラグインを導入しています。

●アバター
IVRの「Vカツ」を使っています。
自分で3Dのキャラクターを作ることが出来るソフトです。有料ですがその3Dデータをバーチャルキャスト用のデータにすることが出来、そのアバターを使って配信しています。

正直まだまだ詰めたい点はあり、まず鍵盤ハーモニカの3Dモデルなんて都合のいいものが無いのでエア演奏になってしまっています。
それがもし出来たら、次は手の動きがきちんとケンハモらしい動きになったらなと考えているところです。指の動きを追跡するといったところはまだ無理っぽいです。

ともかく楽しい世界なので、もっとやってみて上手い部分を見つけていきたいと考えています。