检查引证/信息源请点击:映维网
终究,它将成为轻盈,时髦型AR眼镜的根底。
(映维网 2019年08月23日)VR硬件本来需求经过数据线接入PC,直到Facebook工程团队发现了一种剪掉线缆的办法。
当安娜·科兹明斯基(Anna Kozminski)于2018年作为软件程序工程师参加Facebook的时分,她的任务十分简略:剪掉VR设备的线缆,这样不管何时何地,任何人都能够戴上头显并立刻沉浸在虚拟实践国际中,无需外部追摄像头来捕获环境。
安娜指出:“咱们期望构建一个答应你像实在国际那样天然轻松地在VR国际中移动,而且能够在里面进行自在探究的体系。”
关于安娜参加的团队,其任务是为顾客VR设备开发首个功用齐备的“内向外”追寻体系。这项技能将能够追寻用户的完好运动规划(亦即六自在度),一起能够精确地定位头显和两个运动控制器的方位。
VR设备本来需求运用外部传感器来追寻所述的运动。用于完成追寻的摄像头接入PC,而虽然这是可行的计划,但降低了VR的便携性和增加了设置复杂度。
安娜表明:“凭借头显的内向外追寻,步入VR就像戴上耳机听音乐相同简略。”
但团队的任务远非易事。他们有必要将研讨实验室中最先进的核算机视觉技能带到任何人都能够运用的消费设备。追寻需求精确到低于1毫米,需求足以捕获头部的奇妙歪斜或手部的时间短快速闪烁。它有必要满意强壮,能够满意实践国际家庭中的简直一切条件。它一起有必要满意高效,能够依赖于电池来完成功用。
Oculus Quest是第一款内嵌全六自在度追寻和双控制器追寻的头显设备。
为了完成这一点,安娜及其团队运用核算机视觉和自研算法来生成用户周遭环境的实时3D映射,这样头显就能够核算你地点的方位并将其传至虚拟实践国际。
Facebook将这个体系称为Oculus Insight。它使得全新的Oculus Quest和Rift S头显成为或许。日前,这家公司撰文介绍了苏黎世、门洛帕克和西雅图工程师团队将这项技能变为实践的进程,下面是映维网的详细收拾:
Oculus Quest头显中的摄像头和追寻传感器
1. SLAM
Oculus Insight内向外追寻的根底是SLAM(即时定位与地图构建),它首要经过核算机视觉CV算法来交融来自多个传感器的输入数据,然后在不断更新的数字映射中确认目标的方位。SLAM早已用于机器人技能和智能手机中的AR相机作用,而Facebook也在2016年经过Santa Cruz VR头显原型进行了演示。但Oculus Insight需求史无前例的精度和功率,这意味着它需求适配最新的追寻技能和核算机视觉。
“大多数技能都是从学术开端,源于实验室。”安娜如是说道。她参加Facebook苏黎士的工程团队不是偶尔。实践上,这儿的大多数成员都是来自于研制主动导航体系的Zurich Eye项目(由闻名学院苏黎世联邦理工学院和苏黎世大学安排)。
为了构建更先进的SLAM,工程团队学习了Facebook多年来在人工智能方面的研讨工程作业,构建用于了解视频中呈现的目标和行为的体系,而且开发了能够支撑移动设备的高效核算机视觉算法。
2. 使用于前沿VR设备
奥斯卡·林德(Oskar Linde)是Facebook团队中担任Oculus Insight的首席机器感知架构师,他在构建超高效SLAM体系方面有着丰厚的经历。林德是13th Lab的联合创始人,后者曾于2011年初次展现了用于顾客使用的视觉SLAM技能(用于AR手游)。Facebook于2014年收买了13th Lab及其SLAM技能,而林德顺势参加公司并担任开发VR头显的内向外追寻功用,一起组建了开端专研Oculus Insight的团队。
2017年的Oculus Insight团队正在一心一意地投入到作业之中,但他们面临着一个中心应战:创立根据SLAM的精确和高效算法,而且足以支撑Oculus Quest等移动设备。林德的伙伴是工程司理乔尔·赫胥(Joel Hesch),后者的研讨项目是将根据视觉、激光和惯性传感器的SLAM技能用于辅佐机器人导航,一起致力于移动AR和VR使用。来到Facebook的赫胥首要是担任把Oculus Insight整合至Quest和Rift S的工程团队。
Oculus Insight的作业原理
林德、赫胥、安娜,以及他们的团队鉴了Facebook之前用于移动AR的SLAM作业,以及初代Oculus Rift体系中的追寻技能,但他们需求寻觅新的办法来调整规划它们,然后能够支撑VR头显完成内向外追寻。
在智能手机端,SLAM运用手机摄像头创立“国际确定”的相片和视频作用。但关于VR,这触及多个摄像头,额定的传感器,以及需求在三维空间中追寻的三个不同目标。
安娜解说说:“咱们一次性需求处理三个移动组件:头显,以及两个额定的控制器。咱们每一次都需求获取正确的姿势。”
团队一起遇到了其他应战。当你挥舞虚拟光剑或操作虚拟飞船时,假如运动控制器过于过近或远离头显,头显摄像头将难以清楚地感知控制器的红外LED。Oculus Insight一起采用了其他传感器,包含头显和控制器内嵌的惯性丈量单元所供给的加速度和速率数据。体系有必要实时地处理一切数据,而关于Quest而言,这一切都需求由移动芯片集履行。
3. 毫米级追寻精度
为了处理所述应战,Oculus Insight团队有条有理地改善体系。为了进步体系的追寻精度和速度,他们构建了全新的核算机视觉算法。他们一起在各种样本环境中录制了数千小时的视频,然后用来练习体系辨认其环境中的特征。例如,经过定位和追寻沙发的旮旯或桌子的边际,Oculus Insight能够实时地对一个人在房间内的切当方位进行三角丈量(类似于人眼检测目标的方法)。
团队一起运用了十分精确的OptiTrack动捕阵列,一种用于好莱坞视觉特效制造的相同类型设备。经过比照OptiTrack和Oculus Insight的丈量数据,工程人员能够微调体系的核算机视觉算法,然后完成毫米以内的追寻精度。
4. 很多测验
虽然研讨实验室的要点是完成精确、可丈量、可重复的成果,但关于构建能够支撑顾客日常用例的技能而言,团队需求将要点转移到感知目标。换句话说:VR用户对给定体会的实践感触是怎么?
为了处理所谓的“Swimminess”(物理方位与运动和虚拟方位与运动不匹配时呈现的失向感)和颤动(视觉频闪和画面拖尾)等感知伪影,工程团队充分发挥了自己的想象力。
为了记载运动并提高Oculus Insight的追寻功能,苏黎世团队的工程师大卫·沃格特(David Vogt)正在设置OptiTrack动捕体系
苏黎世团队在多种环境和条件下运用OptiTrack动捕体系对Oculus Insight进行了测验,而他们是将自己作为测验目标。
为了测验Oculus Insight在实践国际中的功能,苏黎世团队的工程师运用了数以百计的实在国际房间。上图是其间一个用于测验的房间。
5. 逾越VR,成为AR眼镜的根底
现在,Oculus Insight将步入VR体会变得史无前例的轻松。关于Rift S,你只需将头显接入PC,无需额定的传感器。Quest则彻底不需求核算机,能够开箱即用并支撑房间规划体会。可是,Facebook对未来的想象远远逾越了今日的或许。
现在支撑Oculus Insight(以及Facebook,Instagram,Messenger的AR体会)的相同体会终究将转化为未来设备的新体会。终究,它将成为轻盈,时髦型AR眼镜的根底。
Facebook最终写道:“咱们尚有一段很长的路要走,但Oculus Insight让咱们更近了一步。”