还自研了不少核心算法

萧箫 发自 凹非寺
非常AI | 公众号 QbitAI

你听说过Pancake吗？

不是最新的蛋糕品类，而是时下VR行业最受关注和期待的光学技术，甚至被称为“划时代的方案”。

据了解，Pancake光学方案的应用，能够给VR带来画面清晰度和产品纤薄度上“质”的飞跃，极大提升了传统VR设备的易用性和体验性，推动VR设备向消费端普及迈出了一大步。

有消息指出，VR领域巨头Meta对于Pancake光学方案兴趣浓厚，将在今年下半年的最新款VR产品上搭载使用；

苹果也一连申请了好几个专利，其中XR系列产品就与Pancake光学方案有关；谷歌虽未宣传，却与斯坦福悄悄发了篇Pancake光学论文……

毕竟，随着元宇宙概念的持续火热，VR设备凭借其交互性被誉为元宇宙的“门钥匙”，早已吸引各大企业纷纷加码，不仅微软等互联网巨头拼命收购各种VR初创企业，英伟达等AI公司也开始研发全息VR眼镜。

现在，这些公司将目光放在了最新的光学技术上。

就在全球都竞速落地这个Pancake光学方案时，国内一家公司YVR率先宣布，成为全球首个正式发售“Pancake超短焦光学一体机”的企业，而这款颠覆性的产品就是YVR 2眼镜。

这么说，终于能揭开Pancake光学技术的“真面目”了？

我们赶紧搞来了一台样机，看看Pancake光学技术究竟长啥样。

Pancake光学方案究竟是什么

首先，需要知道对于VR设备来说，为什么光学方案这么重要。

在VR设备中，用于显示的硬件分为两部分，屏幕和光机（光学镜头组成）。

受限于重量，屏幕无法做得太大，必须依靠光机进一步放大渲染画面，模拟出“另一个世界”的视觉效果。

因此，如何设计光机，便成为了降低VR眼镜厚度、改善视觉体验的关键一环。

此前，大部分VR眼镜采用的都是菲涅尔光学方案，原理是将一块凸透镜多余的部分“挖掉”，看起来就像一圈圈螺纹一样，以此削减透镜的重量。

△图源维基百科

然而菲涅尔方案做出来的VR眼镜仍然较厚、体积较大，原因是镜片焦距无法被进一步压缩。

在这种情况下，Pancake方案应运而生。

这一方案基于折叠光路的原理，能极大地压缩VR眼镜的体积、镜片厚度也降低了不少。

之所以能实现折叠光路，依靠的是偏振光和偏振分光膜的原理。

Pancake光学方案利用两个¼波片延迟一束偏振光的相位，制造出两种不同的线偏振光P和S，其中线偏振光P能被偏振分光膜透过，S则会被偏振分光膜反射。

△自然光经过偏振片后会变成偏振光

具体来说，一束光经过偏振片后先射出线偏振光P，随后经过两次¼波片变成线偏振光S，再经过两次¼波片又变回线偏振光P，最终被我们看见。因此，这一折叠光路并未改变光线的偏振方向。

与菲涅尔光学相比，Pancake光学方案带来的体积改善究竟有多大？

以YVR 2眼镜为例，整个光机的厚度仅有20mm，相对传统菲涅尔镜片的光机厚度，减少了50%左右，整机厚度则压缩至42mm。

△菲涅尔与Pancake方案镜片对比（后者更薄）

此外，Pancake光学方案在清晰度上带来的“质变“更加惊艳。其光学解析能力相对于菲涅尔光学提升了50%，同时克服了菲涅尔光学固有的视野边缘模糊与畸变现象，有效减少边缘眩光，带来了视野全域范围的清晰体验。

值得一提的是，YVR 2光学镜组透过率达到了19%，高透光性能下，清晰度达到了全新水平。据悉，目前业内平均水平约为13-16%。

然而，Pancake方案并没有听起来那么容易实现。

例如，目前VR/AR产品中普遍存在渲染GPU算力不足的问题。

此前，业界普遍使用基于眼动的注视点渲染技术（眼动追踪光学方案）来解决这一问题。

然而传统的眼动追踪通常被用于菲涅尔光学方案VR产品中，无法应用到Pancake方案上。

这是因为传统的方案往往需要额外的半透半反镜，放在眼睛和物体图像中间用于反射一部分光线给摄像头，以计算瞳孔距离和运动方向等。但随着Pancake光机设计空间被压缩，不再有位置留给传统的半透半反镜。

因此，为了解决这一问题，YVR在屏下眼动追踪系统也进行了探索，除了解决GPU渲染算力不足的问题，也方便未来实现自动瞳距调节、身份识别等功能。

根据已经公开的专利，这一设计采用了屏下红外摄像头(1)和红外LED(5)两部分硬件，在不改变光机体积的情况下，实现红外眼动图像获取，结合屏幕背光时序避免干扰，获取更清晰的眼部图像。

如果采用这一技术，Pancake方案VR眼镜的画质也能做到“看向哪儿，哪儿就更清晰”了。

当然，Pancake光学方案也还只是VR一体机的输出“骨架”，也就是实现了“VR眼镜”的功能。

实际很大一部分体验感，仍旧与VR一体机上的其他自研算法有关。

自研VR算法是关键

对于VR一体机而言，要做的绝不仅仅是一个外接“显示器”。

在YVR首席技术官费越博士看来，VR是手机等二维计算平台进化而来的三维计算平台，两者之间一个重要的差异点就是，VR拥有独特的空间感知和空间计算能力，而正是算法赋予了VR这样的能力。

毕竟除了视觉效果以外，VR设备还需要在尽可能降低延迟感的情况下，准确识别身体动作，确保尽可能精准地定位、进一步提升安全性等。

这样一来，VR需要的自研算法就被分成了两大类：视觉、动作识别和定位。这一阶段，YVR自研的算法包括VST、渲染、追踪等。

首先是视觉算法，根据不同的用途，又被分成VST和渲染技术两大类。

其中VST，也就是视频透视（Video See-Through）技术，有点像是AR眼镜的增强功能，在基于外界真实图像的画面基础上，叠加虚拟的画面效果。

它会通过VR眼镜外界的摄像头传感器返回真实世界的图像，相当于给VR眼镜配备了两只“眼睛”，最常见的场景是使用VR时和外界的交互上。

但VST技术自带的一些问题，如延迟和画面畸变等，则需要通过渲染技术来解决。

目前YVR 2已经自研了带有3D识别和画面矫正功能的VST技术。

他们设计了一个能自动识别和精准定位安全边界、平面和障碍物的框架，分为稀疏平面模块、后端主模块和回环检测模块，会根据平面识别和输入的环境点云数据，来确定用户使用的安全边界，同时利用AI算法进行障碍物识别。

这样一来，即使用户脱离安全边界，VR设备也能及时察觉到周围环境中的障碍物并发出提醒，提升用户安全感。

除了画面矫正需要用到反畸变渲染以外，在降低延迟上，YVR2则采用了ATW（异步时间扭曲，Asynchronous Timewarp）技术，并在自研开发ASW（异步空间扭曲，Asynchronous Spacewarp）。

其中，ATW就是利用时间相干性，尽可能重用前一帧计算样本；ASW技术则是对图像的每个像素点进行矢量运动估计，用户移动时通过两帧差异预测下一帧图像。

这样一来，VR设备就无需在实时投影的情况下处理大量图像数据，而是能确保在尽可能降低延迟的情况下，让用户看得清外界的物体。

此外，YVR还自行研发了动作识别和定位算法，这里面又包含6DoF、SLAM等各种算法。

具体来说，YVR 2能够通过vSLAM算法来判断“认清”用户所处的位置、确保用户安全，同时通过6DoF、SLAM等技术精准识别动作、判断用户意图。

先来看看SLAM算法，简单来说就是同时进行定位与地图构建，其中YVR 2以采用视觉传感器的vSLAM为主。

此前，SLAM在VR产品中的应用，主要是单人人体定位和位姿定位中，然而还无法解决多人交互的情况。我们都知道，VR设备当然不是只给一个人玩的，经常面临几个人玩一个VR、或是几个VR同时交互的情况。

例如当一家人买了VR一起玩、或是要将VR拿到不同的地方去玩时，反复定位和构建地图就显得非常麻烦。

从专利中来看，YVR已经研发了一种多人交互的人体定位和位姿定位系统，不仅一个VR能记忆多个地图系统，而且多个VR也能在同一场景下实现交互。

据悉，YVR 2将于近期搭载国内首个多地图智能记忆功能，支持单一VR眼镜不同空间的多防护边界记忆，在一次设定后，再次登陆即可轻松唤醒边界记忆。

除此之外，就是进一步负责定位和预测姿势的6DoF技术了，它可以检测到物体在6个方向上的移动：3个方向上的旋转，以及3个方向上的移动。

△图源维基百科

不过即使有6DoF技术，部分VR头显定位还是容易出现不准确的情况，尤其是摄像头对着天空或地板等情况下，往往无法通过视觉算法进行精准定位。

因此，YVR自研了一种将RoNIN（基于残差网络的IMU传感器数据用于运动估计&定位）和6DoF结合的系统框架。

这一算法会通过VR设备上自带的摄像头提取数据，在非静止的情况下进行6DoF估算，并结合IMU传感器输出数据，进行位姿预测。

通过这一方法，即使手柄不在视觉范围内、或双手柄发生折叠时，VR头显也能对手柄进行准确定位。

事实上，无论是视觉算法、还是定位或识别算法，都是VR设备中不可或缺的核心算法，如果缺少它们，必然会导致VR设备功能不齐全、甚至无法使用。

正是因为在算法侧的不断加持，YVR 2新品上市后，凭借着革命性的体验感优化得到了众多消费者的肯定。据YVR介绍，公司做产品的核心理念就是“站在科技和人文的十字路口，即为用户带来美好的体验，做一款好看、好用、好玩的VR眼镜”，背后深层的含义即给用户和开发者带来极致不妥协的产品，提供最优的性能、功能和体验。传递到产品的研发和工程端，YVR工程师们的自身要求也是研发和创新最合理最先进的算法、软件、硬件，对技术方案不妥协，对能力不妥协。

但其实，可能会有人问，国外如Oculus等厂商已经实现过一些类似的VR算法，为什么国内如YVR等VR厂商，还要在这种情况下进行算法自研？

为何国内要加码自研VR算法？

这里面有几个方面的原因。

一方面，从技术应用角度来看，当前行业对VR的需求正在不断提升。

对于VR而言，元宇宙的到来无疑加速了它的验证落地期。

无论是再次爆火的虚拟人、类脑算法技术，还是这段时间被热议的马斯克将大脑上传至云端等行业热点，都在说明下一个人机交互的时代正在来临。

自2016年VR大火以来，伴随着软硬件技术不断成熟，用户需求逐渐从看电影、玩游戏提升到VR设备之间的交互上，一系列VR技术和方案自然也面临着推陈出新。

在这种情况下，YVR公司在vSLAM、6DoF追踪、VST等算法领域均布局有自研的算法。此外，在光学、硬件、软件、工业设计等方面也组建了专业团队。据悉，YVR 2获得了德国红点奖、德国iF奖两大国际权威工业设计奖项，成为国内唯一同时获得这两项荣誉的VR一体机，也证明了YVR 在多领域具有优秀的研发能力。

YVR不局限于影音、游戏或是娱乐社交，也在探索更多应用场景，希望赋能教育、医疗、旅游、影视、游戏和社交等行业。

实际上，这也是整个VR产业的发展趋势。VR被称为下一代计算平台，虚拟现实产业产业更是数字经济时代的关键重点产业。越来越多的人认为，VR将会改变人类交互方式，带来全新的生产生活方式。

当下，包括医学、工业等更多场景已经应用VR设备，包括3D复杂结构的实时演示、甚至是临床医学上。

例如，据英国媒体PA Media介绍，就在这两天，外科医生基于医学影像构造了一个数字大脑模型，并基于VR技术，成功完成了有史以来最复杂的连体双胞胎分离手术。

又例如，利用VR完成复杂硬件装置的设计和构造、甚至在3D空间中模拟设备的运行，同样对于工业有着实用价值。

在这种情况下，自研VR算法已经不仅是行业需求，而是更深一步地成为科技进展的需求。

另一方面，从VR自身发展的长远视角来看，也会涉及到生态构建和技术话语权。

从行业角度来说，作为多技术交叉领域，VR涉及的技术同样可以被用到其他许多行业中去。

无论是SLAM、VST还是6DoF跟踪等技术，放到自动驾驶和AR等场景中一样适用。而最近大火的Pancake光学方案，同样能被应用于工业机器人等场景中。

但与之相对的，是这些技术都还处在快速成长期，换而言之，当前业内玩家大部分还处于同一起跑线上，方方面面没有现成“轮子”可用，唯有自己“造”才能跑得够快。

在这种产业大背景下，自研算法的价值被无限提升，这也是打破技术垄断，实现“弯道超车”的绝佳机会。因此，只有像YVR等公司一样，抓住这个时机自研算法，才可能在VR以外的场景中制造更多的话语权，并将类似的技术应用到更多前沿场景中去。

从生态角度来说，这是一个难得的创新机遇，企业只有从一开始就掌握软硬件方面的自研能力，才能在VR行业中拥有更大的自由度和自主权。

毕竟，此前中国在数次技术创新浪潮中都是跟随者，现在有机会能够处在同一起跑线，甚至可以领先，作为国内VR领域的重要力量，YVR也自然不应当放过这一机会。

与Meta、苹果、谷歌等公司一样，YVR正在通过自研算法和技术，“让更多人玩出梦想”。

据YVR公司介绍，他们的研发团队涵盖了算法、光学、硬件、软件、工业设计等领域，拥有全栈式自主研发能力，希望真正做出划时代的、能够带来交互革命的VR产品。此次全球首发的Pancake VR一体机就是YVR交出的答卷，站在科技和人文的十字路口，YVR已经先行一步。

面对新一轮VR技术热潮，YVR 2会有怎样的市场表现？

我们拭目以待。