いちから株式会社が、3Dライブ配信をより身近に、より簡単に出来るためのアプリ「3Dにじさんじ」を開発し、いちから運営のバーチャルライバー(バーチャルYouTuber)「にじさんじプロジェクト」所属のライバーへ配布を開始した。
いちからの「3Dにじさんじ」開発プロジェクト「sanji_app」では、以下のコンセプトによる開発を実施したという。
・1人でも3Dライブ配信が出来る。
・自宅からでも3Dライブ配信が出来る(スタジオ使用が必須ではない)。
・自然な3Dモデルの動きを実装。
・今後のアップデートが容易なシステムの構築(新たなライバーへの実装/アプリ本体のアップデート)。
「3Dにじさんじ」では、iPhoneX内の「Face Tracking with ARKit」(にじさんじアプリで使用している顔認識)とOculus Riftのコントローラ「Oculus Touch」を使用することにより、リアルな3D表現による配信が1人でも簡単に行えるようになっており、今後、にじさんじ所属ライバーによる配信にてお披露目を順次実施していく予定とのこと。主な特徴は以下のとおり。
■ 1：配信環境の簡易化
「3Dにじさんじ」では、顔認識をにじさんじライバーに既に配布しているiPhoneXにある「Face Tracking with ARKit」にて行い、それを配信PC内の「3Dにじさんじ」アプリに送りモデリングに反映させるため、一般的な3D配信に使用するヘッドマウントディスプレイを付けずにライブ配信が出来ます。
そのため、現在の2D配信のような視聴者とのやり取り・企画実施等も、今までの3D配信に比べ行いやすくなります。
また、手の動きのモーションは、Oculus Rift内のコントローラ「Oculus Touch」と2台のセンサにて行うため、無線&簡易的なシステムで手・腕・指の動きを実現出来ます。センサに関しても机における小さなものなので、場所を広く取ることなく配信環境の構築が行えます。
■ 2：長時間生配信特有の問題を最小限に
にじさんじプロジェクトでは生配信&長時間配信を中心としたものが多いため、開発時にも長時間の生配信特有の問題が最小限になるよう設計しています。
例えば、機材選定段階では他社のヘッドマウントディスプレイを用いた設計を当初の選択肢としてあげていましたが、1時間、2時間と長く配信するには不向きなため、それを使わない形を模索し実現致しました。また、ネットワーク遅延による配信への影響を無くしています(「ARKit→3Dにじさんじアプリへの転送とモデリング」は、「OBS→YouTubeへのアップロード遅延」に比べて十分小さい)。
■ 3：今後のアップデート実施を容易にする取り組み
今回のシステムを構築する上で、今後の拡張(アップデート)のしやすさを項目の一つとして挙げています。開発側のアプリアップデートだけではなく、ライバー側のアプリアップデートの容易性も確保しています。また、新規にライバーのモデルを追加する際や、既存ライバーのモデルの修正・追加をなるべく容易にする、などを意識しながら設計しています。
具体的には、通常難易度の高いと思われる3Dモデルへの追加実装(季節物の小物を取り付けるなど)が少ない工数で実装できます。また、今後新たなライバーの3Dモデルのデザインが完成したとき、「3Dにじさんじ」アプリへの実装は(元の3Dモデルの完成度が一定以上あれば)数日程度で行えます。