苹果Meta都在冲的Pancake技术,中国VR团队YVR竟抢先交出产品答卷

新闻 2022-08-04 萧箫
436

还自研了不少核心算法

萧箫 发自 凹非寺
非常AI | 公众号 QbitAI

你听说过Pancake吗?

不是最新的蛋糕品类,而是时下VR行业最受关注和期待的光学技术,甚至被称为“划时代的方案”。

据了解,Pancake光学方案的应用,能够给VR带来画面清晰度和产品纤薄度上“质”的飞跃,极大提升了传统VR设备的易用性和体验性,推动VR设备向消费端普及迈出了一大步。

有消息指出,VR领域巨头Meta对于Pancake光学方案兴趣浓厚,将在今年下半年的最新款VR产品上搭载使用;

苹果也一连申请了好几个专利,其中XR系列产品就与Pancake光学方案有关;谷歌虽未宣传,却与斯坦福悄悄发了篇Pancake光学论文……

毕竟,随着元宇宙概念的持续火热,VR设备凭借其交互性被誉为元宇宙的“门钥匙”,早已吸引各大企业纷纷加码,不仅微软等互联网巨头拼命收购各种VR初创企业,英伟达等AI公司也开始研发全息VR眼镜。

现在,这些公司将目光放在了最新的光学技术上。

就在全球都竞速落地这个Pancake光学方案时,国内一家公司YVR率先宣布,成为全球首个正式发售“Pancake超短焦光学一体机”的企业,而这款颠覆性的产品就是YVR 2眼镜

这么说,终于能揭开Pancake光学技术的“真面目”了?

我们赶紧搞来了一台样机,看看Pancake光学技术究竟长啥样。

Pancake光学方案究竟是什么

首先,需要知道对于VR设备来说,为什么光学方案这么重要。

在VR设备中,用于显示的硬件分为两部分,屏幕和光机(光学镜头组成)。

受限于重量,屏幕无法做得太大,必须依靠光机进一步放大渲染画面,模拟出“另一个世界”的视觉效果。

因此,如何设计光机,便成为了降低VR眼镜厚度、改善视觉体验的关键一环。

此前,大部分VR眼镜采用的都是菲涅尔光学方案,原理是将一块凸透镜多余的部分“挖掉”,看起来就像一圈圈螺纹一样,以此削减透镜的重量。

△图源维基百科

然而菲涅尔方案做出来的VR眼镜仍然较厚、体积较大,原因是镜片焦距无法被进一步压缩。

在这种情况下,Pancake方案应运而生。

这一方案基于折叠光路的原理,能极大地压缩VR眼镜的体积、镜片厚度也降低了不少。

之所以能实现折叠光路,依靠的是偏振光和偏振分光膜的原理。

Pancake光学方案利用两个¼波片延迟一束偏振光的相位,制造出两种不同的线偏振光P和S,其中线偏振光P能被偏振分光膜透过,S则会被偏振分光膜反射。

△自然光经过偏振片后会变成偏振光

具体来说,一束光经过偏振片后先射出线偏振光P,随后经过两次¼波片变成线偏振光S,再经过两次¼波片又变回线偏振光P,最终被我们看见。因此,这一折叠光路并未改变光线的偏振方向。

与菲涅尔光学相比,Pancake光学方案带来的体积改善究竟有多大?

以YVR 2眼镜为例,整个光机的厚度仅有20mm,相对传统菲涅尔镜片的光机厚度,减少了50%左右,整机厚度则压缩至42mm。

△菲涅尔与Pancake方案镜片对比(后者更薄)

此外,Pancake光学方案在清晰度上带来的“质变“更加惊艳。其光学解析能力相对于菲涅尔光学提升了50%,同时克服了菲涅尔光学固有的视野边缘模糊与畸变现象,有效减少边缘眩光,带来了视野全域范围的清晰体验。

值得一提的是,YVR 2光学镜组透过率达到了19%,高透光性能下,清晰度达到了全新水平。据悉,目前业内平均水平约为13-16%。

然而,Pancake方案并没有听起来那么容易实现。

例如,目前VR/AR产品中普遍存在渲染GPU算力不足的问题。

此前,业界普遍使用基于眼动的注视点渲染技术(眼动追踪光学方案)来解决这一问题。

然而传统的眼动追踪通常被用于菲涅尔光学方案VR产品中,无法应用到Pancake方案上。

这是因为传统的方案往往需要额外的半透半反镜,放在眼睛和物体图像中间用于反射一部分光线给摄像头,以计算瞳孔距离和运动方向等。但随着Pancake光机设计空间被压缩,不再有位置留给传统的半透半反镜。

因此,为了解决这一问题,YVR在屏下眼动追踪系统也进行了探索,除了解决GPU渲染算力不足的问题,也方便未来实现自动瞳距调节、身份识别等功能。

根据已经公开的专利,这一设计采用了屏下红外摄像头(1)和红外LED(5)两部分硬件,在不改变光机体积的情况下,实现红外眼动图像获取,结合屏幕背光时序避免干扰,获取更清晰的眼部图像。

如果采用这一技术,Pancake方案VR眼镜的画质也能做到“看向哪儿,哪儿就更清晰”了。

当然,Pancake光学方案也还只是VR一体机的输出“骨架”,也就是实现了“VR眼镜”的功能。

实际很大一部分体验感,仍旧与VR一体机上的其他自研算法有关。

自研VR算法是关键

对于VR一体机而言,要做的绝不仅仅是一个外接“显示器”。

在YVR首席技术官费越博士看来,VR是手机等二维计算平台进化而来的三维计算平台,两者之间一个重要的差异点就是,VR拥有独特的空间感知和空间计算能力,而正是算法赋予了VR这样的能力。

毕竟除了视觉效果以外,VR设备还需要在尽可能降低延迟感的情况下,准确识别身体动作,确保尽可能精准地定位、进一步提升安全性等。

这样一来,VR需要的自研算法就被分成了两大类:视觉动作识别和定位。这一阶段,YVR自研的算法包括VST渲染追踪等。

首先是视觉算法,根据不同的用途,又被分成VST和渲染技术两大类。

其中VST,也就是视频透视(Video See-Through)技术,有点像是AR眼镜的增强功能,在基于外界真实图像的画面基础上,叠加虚拟的画面效果。

它会通过VR眼镜外界的摄像头传感器返回真实世界的图像,相当于给VR眼镜配备了两只“眼睛”,最常见的场景是使用VR时和外界的交互上。

但VST技术自带的一些问题,如延迟和画面畸变等,则需要通过渲染技术来解决。

目前YVR 2已经自研了带有3D识别和画面矫正功能的VST技术。

他们设计了一个能自动识别和精准定位安全边界、平面和障碍物的框架,分为稀疏平面模块、后端主模块和回环检测模块,会根据平面识别和输入的环境点云数据,来确定用户使用的安全边界,同时利用AI算法进行障碍物识别。

这样一来,即使用户脱离安全边界,VR设备也能及时察觉到周围环境中的障碍物并发出提醒,提升用户安全感。

除了画面矫正需要用到反畸变渲染以外,在降低延迟上,YVR2则采用了ATW(异步时间扭曲,Asynchronous Timewarp)技术,并在自研开发ASW(异步空间扭曲,Asynchronous Spacewarp)。

其中,ATW就是利用时间相干性,尽可能重用前一帧计算样本;ASW技术则是对图像的每个像素点进行矢量运动估计,用户移动时通过两帧差异预测下一帧图像。

这样一来,VR设备就无需在实时投影的情况下处理大量图像数据,而是能确保在尽可能降低延迟的情况下,让用户看得清外界的物体。

此外,YVR还自行研发了动作识别和定位算法,这里面又包含6DoF、SLAM等各种算法。

具体来说,YVR 2能够通过vSLAM算法来判断“认清”用户所处的位置、确保用户安全,同时通过6DoF、SLAM等技术精准识别动作、判断用户意图。

先来看看SLAM算法,简单来说就是同时进行定位与地图构建,其中YVR 2以采用视觉传感器的vSLAM为主。

此前,SLAM在VR产品中的应用,主要是单人人体定位和位姿定位中,然而还无法解决多人交互的情况。我们都知道,VR设备当然不是只给一个人玩的,经常面临几个人玩一个VR、或是几个VR同时交互的情况。

例如当一家人买了VR一起玩、或是要将VR拿到不同的地方去玩时,反复定位和构建地图就显得非常麻烦。

从专利中来看,YVR已经研发了一种多人交互的人体定位和位姿定位系统,不仅一个VR能记忆多个地图系统,而且多个VR也能在同一场景下实现交互。

据悉,YVR 2将于近期搭载国内首个多地图智能记忆功能,支持单一VR眼镜不同空间的多防护边界记忆,在一次设定后,再次登陆即可轻松唤醒边界记忆。

除此之外,就是进一步负责定位和预测姿势的6DoF技术了,它可以检测到物体在6个方向上的移动:3个方向上的旋转,以及3个方向上的移动。

△图源维基百科

不过即使有6DoF技术,部分VR头显定位还是容易出现不准确的情况,尤其是摄像头对着天空或地板等情况下,往往无法通过视觉算法进行精准定位。

因此,YVR自研了一种将RoNIN(基于残差网络的IMU传感器数据用于运动估计&定位)和6DoF结合的系统框架。

这一算法会通过VR设备上自带的摄像头提取数据,在非静止的情况下进行6DoF估算,并结合IMU传感器输出数据,进行位姿预测

通过这一方法,即使手柄不在视觉范围内、或双手柄发生折叠时,VR头显也能对手柄进行准确定位。

事实上,无论是视觉算法、还是定位或识别算法,都是VR设备中不可或缺的核心算法,如果缺少它们,必然会导致VR设备功能不齐全、甚至无法使用。

正是因为在算法侧的不断加持,YVR 2新品上市后,凭借着革命性的体验感优化得到了众多消费者的肯定。据YVR介绍,公司做产品的核心理念就是“站在科技和人文的十字路口,即为用户带来美好的体验,做一款好看、好用、好玩的VR眼镜”,背后深层的含义即给用户和开发者带来极致不妥协的产品,提供最优的性能、功能和体验。传递到产品的研发和工程端,YVR工程师们的自身要求也是研发和创新最合理最先进的算法、软件、硬件,对技术方案不妥协,对能力不妥协。

但其实,可能会有人问,国外如Oculus等厂商已经实现过一些类似的VR算法,为什么国内如YVR等VR厂商,还要在这种情况下进行算法自研?

为何国内要加码自研VR算法?

这里面有几个方面的原因。

一方面,从技术应用角度来看,当前行业对VR的需求正在不断提升。

对于VR而言,元宇宙的到来无疑加速了它的验证落地期。

无论是再次爆火的虚拟人、类脑算法技术,还是这段时间被热议的马斯克将大脑上传至云端等行业热点,都在说明下一个人机交互的时代正在来临。

自2016年VR大火以来,伴随着软硬件技术不断成熟,用户需求逐渐从看电影、玩游戏提升到VR设备之间的交互上,一系列VR技术和方案自然也面临着推陈出新。

在这种情况下,YVR公司在vSLAM、6DoF追踪、VST等算法领域均布局有自研的算法。此外,在光学、硬件、软件、工业设计等方面也组建了专业团队。据悉,YVR 2获得了德国红点奖、德国iF奖两大国际权威工业设计奖项,成为国内唯一同时获得这两项荣誉的VR一体机,也证明了YVR 在多领域具有优秀的研发能力。

YVR不局限于影音、游戏或是娱乐社交,也在探索更多应用场景,希望赋能教育、医疗、旅游、影视、游戏和社交等行业。

实际上,这也是整个VR产业的发展趋势。VR被称为下一代计算平台,虚拟现实产业产业更是数字经济时代的关键重点产业。越来越多的人认为,VR将会改变人类交互方式,带来全新的生产生活方式。

当下,包括医学、工业等更多场景已经应用VR设备,包括3D复杂结构的实时演示、甚至是临床医学上。

例如,据英国媒体PA Media介绍,就在这两天,外科医生基于医学影像构造了一个数字大脑模型,并基于VR技术,成功完成了有史以来最复杂的连体双胞胎分离手术。

又例如,利用VR完成复杂硬件装置的设计和构造、甚至在3D空间中模拟设备的运行,同样对于工业有着实用价值。

在这种情况下,自研VR算法已经不仅是行业需求,而是更深一步地成为科技进展的需求。

另一方面,从VR自身发展的长远视角来看,也会涉及到生态构建和技术话语权。

从行业角度来说,作为多技术交叉领域,VR涉及的技术同样可以被用到其他许多行业中去。

无论是SLAM、VST还是6DoF跟踪等技术,放到自动驾驶和AR等场景中一样适用。而最近大火的Pancake光学方案,同样能被应用于工业机器人等场景中。

但与之相对的,是这些技术都还处在快速成长期,换而言之,当前业内玩家大部分还处于同一起跑线上,方方面面没有现成“轮子”可用,唯有自己“造”才能跑得够快。

在这种产业大背景下,自研算法的价值被无限提升,这也是打破技术垄断,实现“弯道超车”的绝佳机会。因此,只有像YVR等公司一样,抓住这个时机自研算法,才可能在VR以外的场景中制造更多的话语权,并将类似的技术应用到更多前沿场景中去。

从生态角度来说,这是一个难得的创新机遇,企业只有从一开始就掌握软硬件方面的自研能力,才能在VR行业中拥有更大的自由度和自主权。

毕竟,此前中国在数次技术创新浪潮中都是跟随者,现在有机会能够处在同一起跑线,甚至可以领先,作为国内VR领域的重要力量,YVR也自然不应当放过这一机会。

与Meta、苹果、谷歌等公司一样,YVR正在通过自研算法和技术,“让更多人玩出梦想”。

据YVR公司介绍,他们的研发团队涵盖了算法、光学、硬件、软件、工业设计等领域,拥有全栈式自主研发能力,希望真正做出划时代的、能够带来交互革命的VR产品。此次全球首发的Pancake VR一体机就是YVR交出的答卷,站在科技和人文的十字路口,YVR已经先行一步。

面对新一轮VR技术热潮,YVR 2会有怎样的市场表现?

我们拭目以待。

相关文章