「AI（人工知能）のアルゴリズムを使った車載向けアプリケーションをいろいろ検討し、（開発、提案、講評への対応を重ねつつビジネス）展開しています」

AIやコンピュータビジョン（デジタル画像処理）に関わる先端技術を駆使し、自動車をはじめスマートシティ、FA（ファクトリーオートメ―ション）およびロボティクスなどの分野向けに各種ソリューションを提供する、株式会社センスタイムジャパン。この、香港中文大学のマルチメディアラボを起源とし、日本法人を設置して間もない同社に、自らが加わったのは3年ほど前。以来、それまで携わってきた自動車業界での知見と、同社がもともと中国市場を通じ育んできた主要技術とを連携。そのようなプロセスから新しい価値の創造を目指す自身らのスタンスの一端を、株式会社センスタイムジャパン車載事業部HMIセンシング部の佐藤正範マーケティングマネージャーはこう描きます。

今回ご紹介するユーザーは、センスタイムジャパンにおいて、車載向けに特化したアプリケーションの開発からそのビジネス展開に至るまでを担う、車載事業部。その中で、顔認証技術によりドライバーの状況を検出するドライバーモニタリングシステム（DMS）の開発にウェートを置いて取り組む、HMIセンシング部に焦点を当てます。

同社では、DMSの開発に不可欠な実験環境をよりリアルに再現する狙いから2018年、フォーラムエイトの3DリアルタイムVR「UC-win/Road」ベースのドライビングシミュレータ（DS）を導入。併せて、その成果を効果的にデモンストレーションするツールとしても活用してきました。さらに、新たなヒューマンマシンインターフェース（HMI）関係の研究開発に向け、今後の機能拡張を視野にUC-win/Roadをいっそう活用していく考えにも触れます。

センスタイムジャパンは、SenseTime Groupによる高いレベルの技術的蓄積をベースとしつつ、同社が日本で開発し培う独自の技術やノウハウにもウェートを置きます。

同社は自らの主要技術として、1）独自の顔認識ディープラーニング・アルゴリズム、顔画像データベースおよびディープラーニング・プラットフォームを用いる顔検出／認証、2）各種乗り物や人が道路環境の中に混在するシーンにおけるクルマや歩行者の検出／追跡、3）画像認識を通じた道路環境における車線や停止線、交通標識、信号機などの検出、4）自社開発の視覚慣性ナビゲーションSLAM（Simultaneous Localization and Mapping）システムによる自己の位置や姿勢のリアルタイム検知／環境の3Dモデル構築、5）人体の姿勢検出、6）撮影対象が人の顔か、写真や仮面による騙しかどうかを識別するライブネスチェック、7）大規模なディープラーニングを支援する独自開発のAI学習フレームワーク「SenseParrots」 ― などを掲示。これら技術を活用したソリューションは、1）自動運転や先端運転支援システム（ADAS）、車両電子技術の開発など自動車分野、2）スマートシティにおけるセキュリティ対策、交通の検出／追跡およびスマートリテールの支援、3）FAやロボティクスの分野、などに及びます。

そのうち、例えば、基本となるAIのアルゴリズムやそのプラットフォームなどは中国側（SenseTime Group）で技術開発。それを日本市場で展開するに当たっては、求められる品質を担保すべく必要に応じ適宜センスタイムジャパンでカスタマイズし、ソリューションとして提供している、と同社企画部経営企画課広報リーダーの西岡千佳代さんは説明します。

「今回お話を伺った車載事業部HMIセンシング部は、同事業部内の別グループがADASに特化して取り組むのに対し、AIのアルゴリズムを利用しながら様々な車載向けアプリケーションの開発・製品化を目指しています。

同部が現在、最も力を入れている一つが、DMSの開発です。これは、ドライバーの安全や快適さを確保するため、ドライバーの身体的な状態をチェックして推定するもの。特に、自動運転のレベル3では「一定の条件の下であれば、ドライバーがハンドルから手を離すなどしてシステムに運転を任せられる」と規定。そこでは「ドライバーがシステムから運転操作を引き継ぐことが出来る状態にあることを監視し、必要に応じ警報を発することが出来る機能」、すなわち、まさにDMSのような機能を有するHMIを備えることが必要とされています。

同社ではこれに対し、SenseTime Groupにおける技術・製品開発を通じて培ってきた顔認識／認証技術を活用。現在は、それにより車載組込み環境で、安全運転に支障を及ぼすドライバーの危険な行動や状態を検知するほか、1）セキュリティのための個人認証、2）クルマと乗員（ドライバー）間におけるHMIのためのジェスチャ認識、3）乗員の属性認識や視線認識といった機能を高精度かつ高速に実現するDMSの開発を推進。併せて、複数イベントへの出展を通じ、自らの技術をアピールする機会の創出に努めています。

同部がDMSの本格的な開発に着手したのは、佐藤マネージャーが同社に迎えられた約3年前に遡ります。
「（その頃、同部では）自動運転関連の研究にAIのアルゴリズムを使って、いろいろな画像処理をしながらセンシングを行っていました」

最近の駐車場をめぐる特徴的な傾向として池上技術顧問は、1）駐車場の大型化に伴い出入するクルマの数の増大化、2）自動運転車の多様な機能レベルの混在、3）自動運転車の段階的な普及による駐車場における既存車との混在比率の変化、などを列挙。そこでの各種シミュレーションの重要性に触れます。

一方、同社はSenseTime Groupが独自に開発・蓄積してきた画像認識技術などの優れた素材を保有。しかもそれらの技術が中国市場では商用化されていたことから、その利用を日本国内にも普及させられないかと模索。イベント出展などを通じ潜在顧客から注目されるようになってきていた中で、氏は同社の得意とする顔認証技術を活用してDMSをはじめとする各種アプリケーションの開発にその対象を広げることを着想しました。

そこで、「DMSの開発に向けて何か、シミュレーションするツールが必要になるだろう。では、どういう目的でどのようなモノを使おうか」と関係者間で協議。自身が前職の自動車業界に在籍当時、ADAS関係の多様な装置に関するセンシングのシミュレーションにUC-win/Roadを長年適用。実車環境を再現し、それで評価実験を重ねつつ開発に繋げていた経験を説き、同様なアプローチが取られることになりました。

これを受け、同社は2018年後半にUC-win/Roadを導入。UC-win/Roadでリアルに近い走行環境のVRを作成し、それを反映したDSを使い、被験者がそれを操作して走行シミュレーションをしている間に来す眠けや脇見といった現象をDMSで検出する、という仕組み構築に向けた作業がスタートしています。

その際、翌2019年1月開催の「オートモーティブワールド」（東京）に向けた出展準備が重なったこともあり、「どうせならそこに間に合うようにしたい」（西岡さん）との要望にも対応。開発支援とともに、展示会での利用にも即したシステム化が図られました。以来、同DSは同社が参加する複数イベントで活躍。東京オフィスに開設されるショールームでの常設用と合わせ、2020年1月のオートモーティブワールドには2台のDSを整備し、出展されています。

UC-win/Road DSがなければ実車で走行実験せざるを得ず、そこに割かれる時間や人、費用などを考えると多くの課題が想定されました。その意味で、同DSは非常に使いやすいのに加え、データの書き換えや昼夜・天候の切り替えが容易で、ドライバーの状態を見るために設定する多様な実験環境の再現が可能。特にUC-win/Roadが単体としてばかりでなく、様々なモノと接続して使えるなど、佐藤氏は開発用シミュレータとしての利用メリットを説きます。

新たなHMI関係の研究開発を視野に、UC-win/Roadの今後の機能拡張に注目しているという同氏は、これまではDMSという形で、ドライバー側の感覚的なところを専ら見ていたと位置づけ。今後はUC-win/Roadの技術を使い、クルマと道路の再現のみではなく、クルマの複雑な車室内やドライバーの表情までも再現し、走行環境の変化をよりリアルに反映できるようになればとの期待を述べます。

「（顧客の要望がどんどん進化してきていることもあり）車室外から車室内までシームレスにいろいろ再現できるようになると非常に有り難いと思っています」