这两天恰逢苹果发布iPad Pro 2020款,该版本可看作是一个小幅升级版,处理器、屏幕等等升级幅度不大,而其中的重点在于:三摄系统和升级键鼠操作,让它更像一台“电脑”。
不得不承认,随着苹果对iPad产品线不断优化,尤其以独立iPad OS为起点,iPad正在从以往的纯娱乐型设备往生产力型转变,包括本次最新发布的带有触控板的秒控键盘,系统内加入大量触控板手势等等细节。iPad正在逐渐改变大家对它的印象,结合目前来看,对于文字工作/设计师/艺术创作/摄影师等相关工作场景,iPad Pro有着一技之长。
LiDAR:开启房间级规模AR体验
当然,今天我们要谈的就是iPad Pro最新加入的双摄+LiDAR系统,两颗摄像头用于传统拍照和视频,整体表现可追平iPhone 11,绝对的旗舰级智能手机拍照水准。
而真正让我为之兴奋的就是新加入的dToF模组,即苹果宣称的LiDAR激光雷达。这颗LiDAR支持室内室外,5米范围的测距,可以更好的提升AR体验。
下面,我们通过苹果官方视频来了解一下iPad Pro上这颗LiDAR用在AR上有何厉害之处。
其中我们注意到:苹果官方对于这款摄像头描述是可以纳秒(一秒的十亿分之一)的速度从光子层面进行探测,意味着即时测距系统更加完善。
通俗来说:有了这颗LiDAR可以让我们AR体验过程中更迅速,例如以前用AR放置一个虚拟物体需要等待一个比较短的时间,现在就可以做到即时操作,这就是LiDAR最直观的优势。
通过上面的视频我们看到,在《IKEA Place》中我们还看到了房间级规模AR的未来。用AR预览家居很常见,例如AR放置一个沙发,一个椅子都可以实现不错的效果。而最新视频展示了同时布局多个AR虚拟对象,即:在AR中可同放置沙发、椅子、台灯、抱枕等多个物品,这种房间级规模的AR体验是移动AR设备前所未有的,当然Magic Leap、HoloLens这类AR眼镜对。
与此同时,结合深度数据的虚实融合场景也会让AR体验更为沉浸、遮挡效果更为逼真。上述的视频展示《Hot Lava》活动中以可以同时放置全部虚拟场景,而且热岩浆与真实场景融合,沉浸效果和遮挡效果提升到新层次。
其次在动作捕捉方面,同样可以实现更好的效果,在《Complete Anatomy》中可以直接结合可视化方案,检查病人身体恢复情况。
不仅仅是LiDAR方面对AR帮助,系统层级也有针对性改善。据了解:iPadOS采用全新深度架构,可以和激光雷达探测到的深度点、两个摄像头和运动传感器捕捉的数据相结合,并通过A12Z 仿生芯片的计算机视觉算法来进一步优化,以更详细地理解场景。
另外还有一款CAD建模应用《Shapr3D》,利用深度测量技术,可以直接扫描房间然后生成三维模型,然后还可以做到即时修改,大幅提升建模效率。
当然,我们所说的房间级规模AR体验实际上也是AR眼镜必备,包括HoloLens、Magic Leap在这方面表现都很不错,尤其以Magic Leap展示的一系列消费级应用。同时这似乎也意味着,苹果的AR眼镜也已箭在弦上。
与此同时,我们也在微博搜集了一下大家如何看到本次发布的iPad Pro,以及其LiDAR摄像头模组的。
微博网友@关爱十八线在微博表示:itof精度低,厘米级都会产生精度下降,还有多路径干扰,不同路径反光无法辨别,比如圆角直角不好区分。用于标定十分繁琐落后,不适用于手机。dtof就厉害了,ps级时间分辨率;超低功耗、ns级脉冲;抗干扰是航天级的,也不会随着距离而降低精度;数字电路架构,不用模数转换,标定简单,所以苹果说5米内光子探测是完全没问题的。
知名广告导演@flypig在微博表示:“一个可能的路径是通过先上一款 ToF 产品做数据积累到半年后下一款产品上变成更强形态。”
Virtual GS工作室@林泰前在微博表示:“ iPad Pro 的“生产力”可以来自 AR - 这一点其他“电脑”都做不到。”
微博网友@MoVic菜头表示:估计大多数人都记不得这个structure sensor了,我有幸买过一代。后来这个公司被Apple收购了,这次的iPad Pro的LiDAR和之前的FaceID深感摄像头,都有这个早期产品的影子。
毫无疑问,消费级场景的AR大门依然寄希望于苹果去打开。而苹果在LiDAR方面的选择,或许又将引领未来移动设备和AR头显中AR传感器的走向。
安卓ToF生态乱象
前面提到过,安卓平台早就涉及3D模组,以结构光为例,苹果发布iPhone X之后安卓阵营也有部分厂商更近,而目前除了华为还在最新Mate 30 Pro坚持前置结构光技术外,其它几乎不再涉及。
而ToF作为后置3D模组,在测距和扫描成像方面有着更大优势,主流安卓厂商均已推出配备ToF模组的机型。甚至在一年之前还有,几家安卓厂商高管对ToF模组有所争议。荣耀熊军民微博表示:TOF是手机未来重要发展方向之一,没技术很容易以营销眼光看世界;而红米卢伟冰回应,TOF小米技术预言早就Ready,并认为此技术就是个噱头,没啥用,骗用户花钱。
来源:@王腾Thomas
实际上,早在谷歌Tango系列手机就先后采用结构光,以及ToF模组用于AR功能,不过当时体验和生态过于早期,最终表现不佳。
几年之后,OPPO在2018年发布R17 Pro,算作是近代智能手机较早加入ToF的机型。截至目前,包括:OPPO、vivo、荣耀、华为、三星等厂商纷纷发布配备ToF模组的安卓智能手机,接下来我们就着重介绍一下他们使用ToF都用来做些啥。OPPO R17 Pro:联合高德推出AR步行导航、AR体验感游戏,结合OPPO AR引擎等;荣耀V20:3D建模、结合荣耀AR引擎、3D美体拍照、3D体感游戏、AR虚拟伴舞、人体骨骼识别、动作追踪等;vivo NEX 双屏版:面部解锁(双屏手机,后置模式可用于解锁)、人像虚化、3D美颜拍照、3D美体拍照、3D建模等;华为P30 Pro:拍照人像虚化、人像留色、AR测量、3D体感游戏等;三星S20+:3D建模、AR测距、拍照美化、提升视频品质、提升AR效果等。
简单来看,安卓阵营生态的确混乱,先不论本次苹果的dTOF,相比安卓平台广泛使用的iTOF的优势,而应用场景基本应用围绕在拍照和视频优化,AR与3D建模方案方面展开。
拍照和视频方面,可以提升拍照的景深层次,甚至可能提高运动场景视频品质。伴随着安卓平台在拍照和视频方面逐渐提升,因此用于提升拍照质量和扩展拍摄玩法也是目前安卓ToF主要用途。
而AR和3D建模则是未来更广泛的场景,但在安卓移动平台市场仍未打开。首先,谷歌ARCore在国内安卓厂商进展缓慢,并且硬件依赖程度高,导致各个厂商自行或合作开发AR应用,例如OPPO和高德地图合作开发AR步行导航场景。其次,3D建模市场依然相对小众,在快速迭代的智能手机玩法时代并没有高度的使用需求,与之对应的AR游戏或AR体验游戏方面更是如此,产品体验参差不齐,整体生态和苹果ARKit有极大不同。
当然,即便发展到现阶段,移动AR依然谈不上是刚需功能,这里面有涉及诸多因素,但苹果、谷歌、Facebook等巨头们纷纷押注AR的行动也得清晰易见的。消费级需求的产生有时候并不是消费者能预测到的,可以预见的是今后苹果iOS设备配备ToF模组,加大力度普及房间级AR体验。
最后,关于苹果采用的dTOF的确在诸多方面更有优势,但是目前由于其工艺复杂,能量产厂商并不多,因此成本也会更高。但未来势必会朝着dTOF方向去发展,知乎@过目不忘的鱼表示:相信dtof很快会在未来取代itof方案,因为dtof在很多关键性能方面对itof都有绝对优势,但其技术壁垒比较高。
综合来看,这次是iPad Pro,接下来很可能就是iPhone、AR头显。