今日からはじめるVTuber操演システム開発

OverView

2019-06-25に開催されたVTuberLTで登壇した資料をココに残すとともに
スライドに載せた技術について少しだけ追記をする.

Slide

補足など

オフラインとリアルタイムで分けられる操演システム

VTuber操演システムを2パターンに分ける.それぞれの説明は以下

オフラインシステム

ここでは,それぞれの素材,モーションデータだったり,表情であったり,カメラワークとかを別々でデータを作成し,
あとでUnityのタイムラインを上でタイミングなどを調整し,全てのタイミングが揃えられたところで,
動画を書き出すシステム.MVの撮影を行ったりするときはこっちの方がしやすいかと.凝る時にはタイムラインないと部分書きしも辛い.

リアルタイムシステム

名前の通り,モーション収録から,音声の入力,表情の操作までを同時に行い,画を作っていく.
全てをリアルタイムで行うことで,生放送や,ライブイベントなどでこの方法が用いられる.

モーションキャプチャは…

モーションキャプチャー装置はどうしても高価なもの程きれいにポーズ情報を取得することができる.
この「高価」という部分が個人でVTuberを行うときにとてもネックとなる部分である.
IKという計算をすることで,少ない体の部位の位置情報から全身のポーズを推測することで,
VRHMDとモーションコントローラーでVTuberをやるという方法が,価格的に誰でも始めやすい.(世知辛い)

顔のリアルタイムのコントロールについて

くち

自分はOVRLipSyncを多用している.理由はネット上にある情報数が多いため.
歌を歌わせる時にはなかなか「うん,違う!これじゃない!」という動きをよくしてしまうが,
生放送とかでリアルタイムを要求されるときには,Gainを高めにすることでよりセンシティブに反応させると
小さな声で喋っているときにもごもごしか動かないという問題を解決できる.もごもごさせているだけなら,しっかりとパクパクした方が良い!

目は口ほどに物を言う…
っといったことわざが存在するように,結構目の動きは大切なのである.
この目の動きでバーチャルキャラクタに命があるか決まると自分は思っています…

まず目をどこかに注視させる,まばたきをさせることも重要ですが,
意外と大切なのが,固視微動という眼球運動の現象を再現すること.

以下のYouTubeで目を動かさないとき,まばたき,注視をさせるとき,固視微動をさせたときの差を確認することができる.

この動きを簡単に行ってくれるアセットが「Eyes Animator」というアセットである.

表情

表情をリアルタイムにコントロールするには,XBoxのコントローラーを自分は多用する.
理由はLRのトリガーが大きいという点と,LとRがの合計値の値が取得できるため,その特性を逆手に使うこと便利になる.
このコントローラーを使って適材適所ではあるが,表情を0,1で切り替えるのでは無く,無断階で表情を操作できるとより生命感が増す.

呼吸アニメーション

呼吸アニメーションはキャラクターが動いていないときにとても有効だと思う.
既存のアニメーションにバインド(合成)を行うため,少し実装が面倒であるが,呼吸アニメーションだけを行う簡単なスクリプトがあったため
以下に配布されているブログのリンクを貼る.

このスクリプトを開発されたフルートさん @xflutexx に感謝です.MITライセンスで提供されています.
ライセンス関連の問い合わせに反応してくださり,明記までしてくださりありがとうございました.

+α カメラの設定

細々したところだが,Clipping Planes の Nearという値をデフォルト値0.3を0.01まで下げないと,
本番中カメラに近づいたときに事故が起きる…

謝辞

このスライドの作成と登壇にお世話になった方々です.

バーチャルタレント事務所 Re:AcT所属
花鋏キョウさん

@karpo_twさん
響狐リクさん

コメントする

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です