主页 > 科学 > 周志敏:深耕触控投影算法,开创新型交互应用

周志敏:深耕触控投影算法,开创新型交互应用

佚名 科学 2020年10月22日

周志敏:深耕触控投影算法,开创新型交互应用

本期#影见AR实验室邀请到的是资深人机交互算法工程师周志敏,抱着对AI技术的热爱。他与团队一步一步攻克难关,持续为影见AR提供强大的算法支持。


01个人简介

周志敏,资深人机交互算法工程师,毕业于上海交通大学模式识别专业,师从长江学者刘允才教授,主要研究物体检测和并行化加速。2016年研究生毕业后加入网易人工智能事业部,从算法工程师到算法负责人,他和他的团队取得了近20项发明专利,在多模态人机交互算法设计和工程化方面有着诸多积累,主要研究方向包括基于深度/彩色/灰度视觉信号的人体/手部检测、姿态估计以及动作识别。


周志敏 算法负责人



02成为算法工程师,是偶然,也是必然

为何成为一名算法工程师,其中有偶然因素,也有自己的兴趣爱好。高考之后志敏懵懂地选择了自动化专业,而自动化专业有两个方向:一个是控制工程和理论,另一个是模式识别。在人工智能兴起之前,模式识别是最贴近人工智能的专业。首次接触模式识别项目,他就对其萌生了极大的兴趣,后续的研究方向自然而然就选择了模式识别,这也成为他走上算法工程师之路的开端。


随着人工智能时代加速来临,算法工程师成为一个不可或缺的新兴职业。无论是对自身,还是作为负责人对组内成员的评估,志敏始终认为工程师的核心竞争力是根据所学习的理论和实践经验解决实际问题的能力,算法工程师就是根据人工智能理论,探索隐藏在大数据之后的规律,从而解决实际问题。


“一名合格的算法工程师要熟悉研究方向的发展脉络,并对这一方向有独特的见解;工欲善其事必先利其器,如visual studio、pycharm、git、docker、Linux、cmake等基本工具也要十分熟练。”


03桌面触控算法的突破

如果问影见AR算法的研发过程中最具有挑战的关卡是什么,桌面触控当仁不让。算法团队不断深入探索如何利用深度相机识别手指以及判断手指与物体的接触情况,在迭代多个版本后,成功让触控投影的算法得到成熟应用,并得到了上下游合作伙伴的一致认可。在志敏看来影见AR的成熟算法具有显著的优势,无论从触摸交互,还是从手势识别、物体识别方面,影见AR都实现了新的突破:


01 自然手表面触控交互技术。目前自然手表面触控交互技术主要通过:电阻、电容检测方法,或红外激光扫描或类似方法实现。前者需要预置电极传感器,而后者仅支持在完整平面上进行触控。与这些方式不同,影见AR通过引入深度视觉信号处理技术实现无需在触控表面预置传感器、并支持曲面和非完整表面的触控交互技术




02 空间手部关节点三维位置估计及动静态手势识别技术。当前,手部关节点回归主要是基于彩色图像的二维位置估计,缺少空间信息;也有基于彩色图像的三维位置估计,但偏差比较大。影见AR采用基于深度传感信号的三维手部关节点回归,这可以更好地实现自然手交互以及手与物体交互识别成为AR头戴式设备关键技术也是人机交互从二维到三维转换的核心技术




03 基于彩色视觉信号的识别技术。目前检索技术大部分还是以文本检索为主。随着智能手机的普及,基于彩色视觉信号的图像检测技术也越来越流行。在绘本识别细分场景中,构建一个两级的图像检索系统(封页识别、绘本内容识别),并融合多种分辨率,提高图像检索识别的效率。这项技术使得影见AR在教育行业可以大展拳脚,实现更多的教育可能性




04 高精度三维空间标定技术。与市场上大多数增强现实投影系统相比,影见AR不必依靠人力逐像素调整投影画面与真实空间的对应关系。而是通过将投影仪假设为一个逆相机模型,充分考虑镜头畸变,设计一套高精度自动化标定系统,是空间增强现实系统的技术关键点。




志敏及算法团队在触控投影领域有广泛的技术积累,在产品面世之后,在继续深耕触控投影基础算法的同时,根据市场和用户的反馈,专注于在细分领域做精做细,为影见AR在各行业的实际应用提供更好的技术支撑


From 志敏


关于未来


=========


很多人都在讨论人工智能时代,人和技术的未来。在这一点上,我认为随着人工智能的发展,更多的职业被取代是必然趋势,这也是社会发展的标志,更多的人从简单脑力劳动中解放出来,也必将促进数字时代人工智能的发展。


_________________________


关于易现EZXR (ezxr_hz)


孵化于网易的易现EZXR在人工智能领域耕耘已久,团队自2011年起即开始了AI领域的探索与沉淀,以AI服务支持网易内部,并经由网易系APP触达近10亿用户,峰值期间覆盖8000万人/天;于2015年起进入增强现实领域;2016年推出了增强现实的平台和产品,通过不断的技术迭代,已在国内该领域中跻身前列;2019年完成首轮逾亿元人民币融资,成立易现EZXR并聚焦人工智能加持的增强现实行业赛道;2020年,深度布局以AR Cloud技术为基础的大空间AR业务商业化落地,并获评“准独角兽企业”称号。


标签: 识别   算法   工程师   技术