神奈川工科大学の学生チーム「BabyFace」が、東京ゲームショウ2017のVR/ARコーナーにて、来場者の顔写真から未来の赤ちゃんの顔を生成しVR空間内で子育て体験できるシミュレーション「Real Baby – Real Family」を出展していました。
この「Real Baby – Real Family」は、ディープラーニングを使った顔画像処理により、体験者の顔写真をその場で撮影し、それをもとにVR空間内で体験者の顔の特徴を持った赤ちゃんを生成することができる子育て体験シミュレーション。赤ちゃんは人工知能により、泣いたり笑ったり、体験者を見つめたりと様々な反応を示し、体験者は赤ちゃんを抱いたりミルクをあげたりして泣き続けないようあやさなければなりません。この場では基本一人での体験でしたが、同性/異性カップルの顔を混ぜて赤ちゃんを生成したり、2台のVRヘッドマウントディスプレイ(HMD)を使用して2人で赤ちゃんをあやしたりといったことも可能。ちなみに同シミュレーションは、2016年10月29～30日に東京・日本科学未来館にて開催されたIVRC2016決勝大会にて国際賞「Laval Virtual Award」を受賞し、これによって招待された欧州最大規模のVRフェスティバル「Laval Virtual 2017」（フランス・ラヴァル）にて展示および口頭発表、パネルトークを行いました。さらにCG/インタラクティブ技術の国際会議「ACM SIGGRAPH」でも「ACM SIGGRAPH Award」を受賞し、2017年7月に米ロサンゼルスにて開催された「SIGGRAPH 2017」内の最先端技術が集まるセッション「SIGGRAPH Emerging Technologies 2017」でも国際発表を行うなど、既に日本国内を超えて海外でも評価されています。
まず最初にWebカメラで顔写真を撮影して赤ちゃんの顔を生成し、VR空間内に反映させます。
使用するHMDはHTC Viveで、赤ちゃん人形にはViveコントローラーが取り付けられています。なお、このコントローラーは市販の状態から改造されており、振動の強弱がよりはっきりと分かるようになっています。
赤ちゃんは放っておくと泣き続けてしまうので、いい感じの角度で抱き上げたり、背中を軽く叩いてあやしたり、ミルクをあげたりして泣き止んでくれるよう世話をします。ミルクもコントローラーで表現されており、飲ませる角度もちゃんとVR空間内のグラフィックに反映されます。もしミルクをあげるのを途中でやめてしまったり、あやす際の赤ちゃんの体の角度が適切でなかったときはさらに激しく泣き出し、それが赤ちゃん人形にセットされているコントローラーにも反映されビリビリと振動するため思わず「ヤバい！」とあせってしまいました。
このシミュレーションは様々なイベントに展示されてきたそうですが、今後は自治体などと連携して育児教室などにも活用できそうだと感じました。チームの公式ブログはこちら。