Users Report
用户介绍/第130回
Sense Time Japan有限公司
车载事业部HMI传感部门

最先进的计算机视觉技术
专注于融合日本制造技术
利用UC-win/Road DS
开发驾驶员监控系统

SenseTime Japan有限公司
URL https://www.sensetime.jp
所在地 京都市中京区
事业内容 : 提供应用计算机视觉和深度学习技术的各种解决方案

“我们考虑运用AI(人工智能)算法进行各种车载应用程序的开发,并对其进行提案和评估。”

Sense Time Japan 有限公司充分利用了AI与计算机视觉(数字图像处理)相关的先进技术,为汽车,智慧城市,工厂自动化(FA)和机器人等领域提供了各种解决方案。Sense Time Japan 有限公司车载事业部HMI传感部门市场经理佐藤正范表示该公司起源于香港中文大学的多媒体实验室,在大约三年前刚创建日本分部时他加入了该公司。从那时起,他们就在汽车行业所涉及的知识以及该公司最初在中国市场上研发的主要技术进行了合作并希望借此创造新的价值。

这次向用户介绍的是Sense Time Japan的车载事业部门,该部门负责车载专用应用程序的开发以及在日本的业务开展。 其中,我们将重点关注对使用面部识别技术检测驾驶员状态的驾驶员监控系统(DMS)。

为更真实地再现对于DMS开发至关重要的实验环境,该公司在2018年导入了FORUM8的3D实时VR“UC-win/Road”驾驶模拟器(DS)。同时我们也将其运用结果作为展示内容之一。此外,为了便于研发新的人机界面(HMI),我们今后考虑对UC-win/Road的功能进行进一步的扩展。


 香港的大学实验室与日本据点的目标和发展

香港中文大学的汤晓鸥(Tang Xiaoou)教授于2001年在该大学建立了一个多媒体实验室(MMLab)。之后,在该实验室积累了许多有关图像识别和深度学习的研究成果,我们迅速将计算机视觉的深度学习技术进行了实际应用并于2014年成立了Sense Time集团有限公司(中国)。

从那时起,SenseTime集团扩大了业务,除了在香港设有总部以外,中国的北京,上海,深圳,杭州和成都,以及新加坡,马来西亚,迪拜等地区都部署了具有技术研发能力的据点。在此当中,为了将该公司深感自豪的世界一流计算机视觉的深度学习技术与一直以来世界领先的“制造业强国”日本的技术实力结合在一起,于2016年在日本成立了Sense Time Japan(劳世竑·Sense Time Japan CEO)。

在成立日本公司时,由于有自动驾驶相关的联合研究历史,因此招募了具有该领域研发经验的人才,并且专注于车载业务。该公司目前在总部(京都),京都实验室,东京事务所,宇都宫事务所以及AI/自动驾驶公园(Sense Time Japan测试点:茨城县)设有据点并且拥有大约60名员工。

单击图片可放大。
利用人脸识别技术的驾驶员监控系统
Sense Time Japan 成立4周年纪念
活动结束后在社交聚会上合影留念
车载事业部HMI传感部门
市场经理佐藤正范

 在充分利用母公司技术的同时,寻求进入日本市场的最佳方法

Sense Time Japan拥有Sense Time集团的高水平技术积累并重视在日本研发独自技术和专有技术。

该公司的主要技术包括:1)使用独自的面部识别深度学习算法,面部图像数据库和深度学习平台进行面部检测/身份验证。 2)在各种车辆和人员混合在一起的道路场景中,检测跟踪车辆和行人。3)通过图像识别检测道路环境中的车道,停车线,交通标志,交通信号灯等。4)自主开发的视觉惯性导航SLAM(Simultaneous Localization and Mapping)系统实时检测位置和姿势/环境的3D模型构建。5)人体姿势检测。6)识别拍摄对象是人脸还是照片或口罩等欺骗对象。7)发布了独自开发的AI学习框架“Sense Parrots”,该框架支持大规模深度学习。利用这些技术的解决方案包括:1)汽车领域的自动驾驶,高级驾驶员辅助系统(ADAS)和车辆电子设备的开发等; 2)智慧城市的安全措施,交通检测/跟踪和智慧零售支持。3)涵盖FA和机器人技术领域。

该公司企划部公关负责人西冈千代洋子(Chikayo Nishioka)表示,其中基本的AI算法及其平台由中方(Sense Time Group)开发,将其部署到日本市场时根据市场需求进行自定义开发,并由Sense Time Japan提供解决方案以确保满足用户所需品质。

单击图片可放大。
SenseTime的技术 利用UC-win/Road DS进行
SenseDrive DMS演示

 采用独自的方法进行DMS开发

我们这次采访的车载事业部的HMI传感部门的各小组专注于ADAS的研发,目标是使用AI算法进行各种车载应用程序的开发和产品化。

当前该部门最专注的内容是DMS的开发。为了确保驾驶员的安全和舒适,对驾驶员的身体状况进行检查和估计。特别是在自动驾驶级别3当中规定的“在一定条件下,驾驶员可以通过从方向盘上移开手来让系统驾驶车辆”。因此必须具有“监视驾驶员可以从系统接管驾驶操作并在必要时发出警报”的功能,即与DMS完全相同功能的的HMI。

该公司对此利用了Sense Time集团在技术和产品开发中的面部识别/认证技术。现在它能够在嵌入式环境中检测危及安全的驾驶员行为和状况,以及1)安全个人识别、2)车辆与驾驶员之间的HMI。3)促进DMS的开发,实现高精度,高速度的驾驶员属性识别和视线识别等功能。同时,我们正在努力通过多次参展来展示我们的技术。

单击图片可放大。
Action Interface System
应用驾驶员监控系统的公交乘客管理系统 Face Entry System


 以DMS开发为契机导入UC-win/Road DS

在佐藤经理加入公司大约三年之前,该部门就已经开始DMS的全面开发。
(当时,该部门正对使用AI算法进行各种图像处理和传感等自动驾驶相关研究)

作为最近停车场的一个典型趋势,池上技术顾问表示有以下几点特征:1)进出汽车的数量随着停车场规模的增加而增加。2)自动驾驶汽车各种级别的功能的混同。3)自动驾驶汽车的逐渐普从而导致的与停车场中现有汽车的比例变化等。

另一方面,Sense Time Group拥有独立开发和积累的图像识别技术。由于这些技术已在中国市场商业化,所以他们摸索能否将其也在日本推广应用。在通过活动展览吸引潜在客户的兴趣的同时,希望通过利用公司擅长的面部识别技术将对象扩展到各种应用程序(例如DMS)。

对此,相关人员们进行了讨论:“既然需要开发DMS的模拟工具。那么以什么为目的且使用什么工具来开发才好?”。多年来汽车行业都使用UC-win/Road进行模拟与ADAS等各种设备相关的感测研究。通过了解使用UC-win/Road能够复制实际的车辆环境并且在反复实验的同时积累研发经验,因此决定采用相同的方法进行DMS的研发。

作为回应,该公司于2018年下半年导入了UC-win/Road,开始通过UC-win/Road构建一个接近真实驾驶环境的VR,并使用反映了VR的DS进行检测。该系统可以通过DMS检测实验者的诸如困倦和注意力不集中等现象。

当时,由于与2019年1月举行的“汽车世界”(东京)展览的筹备工作重叠,因此我们积极应对了“无论如何也要赶上时间”(西冈先生)的需求。除开发支持外,该系统还被设计为适合在展览中使用。之后,此DS一直活跃在公司参加的多个活动中。连同东京事务所陈列室内常年安放的已经安装了两个DS,并于2020年1月在“汽车世界”上展出。

“2019年名古屋人类与汽车技术展览会”出展模样


 进化的需求,对UC-win/Road进一步功能扩展的期望

如果没有UC-win/Road DS,我们别无选择,只能在实际的车辆上行驶,考虑到可能要花费的时间,人员和成本,因此存在很多问题。从这个意义上说,除了易于使用之外,DS还易于重写数据并在白天和黑夜/各种天气之间进行切换,并且可以再现各种实验环境以查看驾驶员的状况。尤其是UC-win/Road不仅可以单独使用,而且还可以通过连接各种外部数据来使用,佐藤解释了其作为开发模拟器的优势。

他表示正在从与HMI相关的新研发角度关注UC-win/Road的未来功能扩展,并且一直以通过DMS的形式关注驾驶员的感受领域作为定位。他表示期待如果将来使用UC-win/Road技术不仅可以重现汽车和道路,还可以重现复杂的汽车内饰和驾驶员的面部表情,则可以更真实地反映出驾驶环境的变化。

“客户的需求正在不断地进化中。我认为如果能够无缝地从车外到车内复制各种物品将不胜感激。”

执笔:池野隆
(Up&Coming '20 盛夏号)



上一页
  
索引


FORUM8