音楽の未来

ヘッドフォンを装着して、スマートフォン（iPhone）にインストールされたSound Scope Phoneを起動し、再生ボタンを押すと、ヘッドフォンから聞こえる音響空間上に、ユーザの周囲360度を取り囲むように10種の楽器音が出現。Sound Scope Phoneは、フロントのカメラで得た画像をAIで処理し、iPhoneから見えるユーザの頭部方向を検出。あたかも周囲を演奏者に取り囲まれたかのような音楽体験が可能です。表現技術を用いた新時代の音楽体験。

記録を未来に活かす

同じ場所で異なる時期に撮影した2つの360度映像を切り替えながら視聴することで、細かい違いに気づくことができる表現技術。例えば、災害直後の映像と復興中の映像を比較することで、あたかもその場にいるような臨場感を伴いながら、災害の凄惨さや復興の状況を能動的に体験する効果が期待できます。様々な利用者を想定し、VRゴーグル用とタブレット用の2つのアプリを開発。公共メディアとして、ピンポイントに、信頼できる情報を提供することをめざしています。

アバターの使い分けがデフォルトになっていく未来

デジタルカメンは、「仮の顔」として好みのCGキャラクターを表示する軽量薄型有機ELディスプレイを搭載。裏面に装着者の表情の変化を測定する反射型フォトセンサアレイが組み込まれている。顔の表情の変化に伴う皮膚の変化を計測し、表情認識モデルを構築する事で、装着者の表情および口の動きをリアルタイムでアバターの表情へと反映させる。実験では、平均79%の認識精度を達成し、被験者からは自身の表情や発話が違和感なくアバターの表情に反映されたという評価が得られた。時・場所・人に合わせてアバターを使い分けることで、心がもっと自由になるそんなMRの世界の創造をめざします。

個々の強みを最大限に活用

磁性流体メーカーである株式会社フェローテックマテリアルテクノロジーズによる新技術「蛍光磁性流体」をメディアアートに応用する取り組みを、これら企業の支援を得て開始。蛍光磁性流体を「磁性流体彫刻」の立体造形に応用し、ブラックライトおよびその他の照明装置の利用と、蛍光磁性流体を立体表面に流動させるための適切な電磁石とコンピュータ制御によって、これまでにない先端的な動く立体造形表現と映像表現へと展開。蛍光磁性流体だからこそできる表現を考えながら創作を続けています。

新しい味覚のコンテンツ、表現の新領域としての味覚

食べたい料理名を声に出すと、その映像が表示され、画面を舐めるとその料理の味がします。味センサで取得されたデータに基づき、10種類のスプレーで透明なシートに味が噴霧、それがベルトコンベアのように巻き取られて画面の上にくるという仕組みで、ほぼ全ての料理の再現ができ、基本五味のみならず、渋味・辛味・アルコール味も表現可能です。単なる味の再現ではなく、味表現に対する創造性が多くの人に開かれる未来にむかっています。

映像作家が表現する技術

蛍光材料を含んだ透明スクリーンで構成された層構造のディスプレイにプロジェクションした映像が、蛍光材料の物性である励起・反射により、各層に分離して表示。赤・緑・青を分離することで最大3層の立体表示が可能で、スクリーンを造形したり、動かすことで多様な表現が可能に。単に装置の発明だけでなく、ディスプレイでの表現手法を、映像作家でもある作者が開発し作品化している点が特徴的です。

星空が見られない晴天率30%だったからこそ生まれた光の表現

群馬県みなかみ町谷川岳天神平で開催された星空鑑賞イベント「天空のナイトクルージング」。谷川岳の山並みにプロジェクションマッピングを投影し集客増の取組となりました。さらにイベントを楽しんでもらう為、公式HP内で「天空のナイトクルージングの楽しみ方ガイド」を開設。会場内のウォークスルー体験や女性2人が会場内を楽しむ様子を撮影した映像、星空タイムラプス映像等を公開、オンライン配信など、参加者がワクワクする取組を重ねています。

デジタル技術をもっと身近に

森の中に設置されたQRコードを読み取ると、カメラを通して野生動物の3DCGを表示するAR体験を提供。動物と一緒に写真撮影を行う機能や、ナレーションを再生して動物に関する知識を得る機能も実装しました。ARを体験したことがある人にもない人にもすぐに楽しんでもらうためには「安定して提供する」「体験のハードルを下げること」「体験のクオリティを高める」など大切なポイントがあります。参加者の満足度を高めること、環境負荷の少ない、持続可能な観光資源の創出にむけて取り組んでいます。