芝浦工業大学 情報通信工学科の堀江亮太准教授は、脳波などの生体信号から複数の参加者の精神的な盛り上がりを計測し、度合いに応じてハートマークや桜吹雪などの視覚効果として演出し一体感を世界中で共有できるVRエンターテイメントシステムを開発した。現在特許を出願中とのこと(特願2018-127833号「ライブ演出システム、およびライブ演出方法」、出願人：学校法人芝浦工業大学)。
このシステムは、ライブ参加者が簡易脳波計を装着し、計測した脳波から全員の集中度を解析、その解析結果に基づいた視覚効果をそれぞれのライブ画面に視覚的に再生するというもの。これにより参加者は自分の集中度に応じたインタラクティブな演出を楽しめ、ライブとの一体感をより感じられるようになる。具体的な仕組みは、簡易脳波計で脳波などを測定し、精神的な盛り上がりに伴って増加する脳波のβ／α比が増加し、閾値を超えたときに視覚効果を生成し表示させるというもの。実装例として、ユーザー数と同数の簡易脳波計、タブレット端末、VRヘッドマウントディスプレイ(HMD)、クライアントPC、および1台のサーバPCから構成。各ユーザーは脳波計とVR HMDを装着し、額部と耳部の間で計測された脳波信号をタブレット端末上に送信する。そして計測された脳波信号からβ／α比を算出し、クライアントPC上のデータ処理プログラムに送信する。
今回は全ユーザーそれぞれの視覚効果を画面に現す＜クライアント型＞と、全ユーザーの平均値が閾値を超えたときに視覚効果を現す＜サーバ型＞を開発したとのことで、＜クライアント型＞では同データ処理プログラムがβ／α比に対応する視覚生成情報を生成し、サーバPC上に送信、その後全クライアントPC上に共有し、全ユーザの画面に反映する。＜サーバ型＞の場合はクライアントPC上のデータ処理プログラムではβ／α比の処理はせず、サーバ上のデータ処理プログラムにて平均値を算出する。
今回、6名(3名1組)で実験を行った結果、＜クライアント型＞では、他のユーザとは効果を共有しない従来のシステム型よりも「一体感」を感じるアンケート評価が上回り、＜サーバ型＞でもβ／α比の増加のタイミングが揃って効果が生成されたときには一体感や達成感を感じる感想が得られたという。これをふまえ、今後もさらなるデータを収集し、視覚効果の共有によるβ／α比の変動分析や統計学的評価、閾値の設定などを行い、ライブ参加の一体感がより得られるシステムに改良を進め、将来的には、各地で行われる多様なライブを繋げるシステムに拡張し、「生体情報で世界をつなげるライブ」の実現を目指すとしている。
(C)Unity Technologies Japan/UCL