ColorOS在画质的路上越走越远

杨净 萧箫 发自 凹非寺

非常AI 报道 | 公众号 QbitAI

手机上能玩到光追游戏了！

桥豆麻袋，你确定吗？

众所周知，光追渲染效果非常溜，哪怕镜面反射、水面倒影以及阳光阴影都非常真实～

但算力要求巨大，PC端搞了这么多年，也未见有大规模扩张的起色，移动端确定可以？？真的不是PPT？？

别着急，先来看看效果：

这是玩《使命召唤》手游的场景，可以看到车内打破玻璃时，原本单薄黯淡的碎片，呈现出立体干净的透明感（甚至有屏幕破碎的错觉）。

建筑物的阴影不再像大片色块硬生生“粘”在墙壁上，而是显示出特有的朦胧。

而若细看游戏画面，能发现面具的眼镜片清晰反射出了建筑物轮廓：

还有金属质感的门，在光滑地板上反射出的镜面效果：

好吧，眼见为实。

真机操作起来，游戏画质和帧率也完全没有下降！

听说，ColorOS（OPPO的移动端操作系统）还是首家真正把光线追踪技术标准能力落到移动终端上的系统，简直是游戏画面党的福音~

在这之前，光追似乎还是个离我们挺远的技术，没有显卡就带不动的那种。

究竟是从什么时候开始，手机上也能跑光追了？

被移动端“盯”上的光追

先来看看光追原理。

计算机在做特效、渲染图片时，需要将现实中的光线散射、反射、折射等现象还原出来。

传统的光栅化算法，选择直接将光线照射的效果“粘”到物体表面，相当于人眼看到的是许多张2D贴图，并非真实的3D效果。

光追（Ray Tracing，光线追踪）则不一样，它会真实地追踪每一条光线的轨迹，计算每个交点的反射、折射等效果，直到遍历整张图像。

因此，光追的优势在于渲染效果非常真实，往往能很好地还原一些光栅化忽略的效果，例如阴影和反光，以及这种水面倒影的变化情况：

最初，光追技术从电影业开始兴起，像2009年的著名电影《阿凡达》就采用了光线追踪技术。

随后，却遭遇了一段相当长的瓶颈期，究其根本，是难以进入更有落地空间的游戏领域。

因为游戏的特殊性，光追渲染必须实时完成，瞬时计算量非常大，对硬件性能要求极高。

一直到2018年，英伟达带着RTX系列显卡和DLSS等AI算法出现，才真正将光线追踪技术在PC和主机上推向一波高峰。

各大游戏厂商们纷纷开始支持光线追踪技术，包括《地铁：离去(增强版)》、《赛博朋克2077》等著名游戏大作，宣传时都将这项技术作为新卖点。

这波游戏光追的“火热之风”，自然也吹到了移动端上。2020年，随着Vulkan正式支持光线追踪API，移动端厂商也坐不住了。

BUT，移动端光追，并不是想落地就能落地的。

由于硬件体积严重受限，移动端相比PC端还要更难兼顾性能、掉电量和功耗（发热）等游戏体验效果。

将光追落地到移动端，是认真的吗？

更实际的落地方案：混合渲染

事实上，这些年还真有不少厂商想过要将光追落地到移动端。

• Imagination GPU提出过相应架构，但几乎没有移动平台使用方案；
• 手机厂商三星和华为也都宣称自己有光追计划，但都还没落地；
• 联发科也于近日和腾讯游戏、ARM一起推出了移动端光追SDK，但更多还是硬件层面的支持……

而在几天前ODC21的开发者大会上，OPPO却出乎意料，率先公布了基于ColorOS的移动端光线追踪的技术方案，首次真正把光线追踪技术标准能力落到了移动终端上，还直接放出了真机演示，是可以现场试玩的那种。

ColorOS是OPPO基于安卓开发的手机操作系统，也是OPPO自研技术的“集大成者”。

实际上，移动端光线追踪技术也仅是ODC21开发者大会中，ColorOS发布的“黑科技”之一。除此之外，他还提出了一个更大的“目标”，期望建立以用户为中心的泛在服务生态。

其特点是：可以让人与设备间的交互更加自然无感，让虚拟世界的真实渲染与现实趋于融合，让多设备无缝互联互通，和使服务体验随人流转。

光追技术就是支撑ColorOS实现泛在服务的三大技术之一，让虚拟世界的真实渲染与现实趋于融合的关键。

据介绍，目前在开启光追后，部分游戏场景中的帧率可以达到每秒30+帧，瞬时计算量能达到每秒20多兆光线：

从图中可见，墙壁上展示的枪支和灯光倒影，在开启光追之后才被显示出来：

非常AI也在现场试玩了一下，手感确实还不错。

那么，ColorOS是如何做到率先将光线追踪技术标准能力落到移动终端的？

一方面，相比于死磕实时纯光追计算，ColorOS选择走一条更加实际的道路：混合渲染。

在初始场景中，ColorOS先采用光栅化完成整体渲染，再利用光追实时生成阴影和水面、玻璃和金属等特殊材质的真实倒影，既能在最明显的地方展示光追效果，又能极大地降低光追计算量。

面对实时光追计算会产生噪点的情况，ColorOS自研了“无噪音模式”，在自动平衡算力和功耗的情况下，从技术上确保渲染时不出现噪点。

（通常来说，实时光追计算都会产生噪点，像英伟达就会采用DLSS等AI算法来进行降噪）

△路径追踪计算时会出现大量噪点，来源@Youtube

另一方面，除了自研的混合渲染技术以外，ColorOS也与不少厂商展开了合作。

在游戏引擎上，除了计划支持Unity引擎（这次的《使命召唤》手游就是基于Unity引擎制作的），ColorOS也计划支持采用虚幻引擎的游戏厂商，将光追落地到更多游戏上；

在硬件架构，ColorOS会与高通和联发科等芯片厂商都进行合作，并自研了相应的异构计算技术，确保光追在不同的硬件上都能得到最优性能提升。

在这过程中，技术人员谈到遇到不少难题。比如，部分游戏厂商使用了旧版本引擎，与最新光追方案有许多不兼容的地方，ColorOS必须进行相应的技术适配；又例如在针对硬件优化时，也需要反复与厂商进行磨合，针对性地提升光追在处理器上的运行性能……

ColorOS将光追技术标准能力落地到移动终端上后，预计明年上半年，也会把这项能力开放给开发者。

在画质这条路上越走越远

ColorOS做这件事情，意外么？

事实上，如果翻看ColorOS画质优化历史就会发现，这其实只是当中一隅，甚至还是水到渠成地自然发生。

2018年，正值王者荣耀热度高峰，OPPO率先联手游戏商推出超高清画质技术，让诸多画面细节有了提升。

2019年，游戏体验得到进一步升级，OPPO联合高通开发Game Color Plus（超现实增强画质）技术，《王牌战士》《和平精英》《坦克世界》《斗破苍穹》等几款热门游戏也加入画质增强队伍。

紧接着就在第二年，O1超感画质引擎已广泛应用于各大视频平台，包括微信、QQ等视频聊天功能，腾讯、芒果TV、微博、Bilibili等视频应用，以及抖音、快手、微视等短视频应用。

凡此过往，无一不表明ColorOS在手机画质这条路上越走越远，而刚刚推出的移动光追技术也将是手机画质的下一个标准。

从另一个维度看，移动光追还是市场导向、以用户为中心的必然选择。

今年是元宇宙元年，虚实融合相关的体验成为趋势。

像虚拟购物、虚拟会议、虚拟演唱会等这些新形式连番登场，而且反响都还不错。

比如，今年年初《堡垒之夜》的一场虚拟演唱会，就吸引了1070万玩家的参与。这种方式还被业内人士评价为“对元宇宙的惊鸿一瞥”。

但试想一下，如果未来元宇宙真如现实世界那般，拥有源源不断的生命力、广阔的应用场景，那么真实性、沉浸感就是背后最大的技术需求。

移动光追技术，是目前看来最可行的解决方案之一，势必少不了市场推动、厂商竞逐。

技术内因加上市场外因，ColorOS的这次选择，也并不意外。

刷新技术形象

其实，当我们连点成线时就会注意到，OPPO这两年持续进行着“技术输出”，不断刷新大家对他的固有形象。

这一点在ColorOS上尤为明显。

除了技术直接露出，在侧面的研发投入、生态布局等动向上，也都展现着它已经不同往日。

创始人兼CEO陈明永透露，自2020年起三年内，OPPO将持续投入500亿元研发费用，这些技术也都将会在ColorOS中呈现出来。

以前，ColorOS都是种不显山不露水的隐形技术派。这一点与OPPO内部技术理念不无关系。

OPPO研究院院长刘畅就表达过，科技公司真正的实力，不一定需要通过营销和宣传体现。而且OPPO内部的技术理念，也不提倡把技术挂在嘴边。

之于ColorOS，就是希望用户有最好的体验，但不必知晓背后技术的复杂性，比如超级快充，又比如暗光成像。

但现在，随着技术发展，更多开发者云集，一个新的服务生态围绕ColorOS形成。

于是技术的那一面，再也藏不住了。

在今年ODC21开发者大会上，内部的生态势能公式也首次对外披露，其中技术就是最重要的一环。除了我们前面提到的移动端光线追踪技术之外，可以体现泛在服务计算能力的，还有AI渲染技术和异构计算。

AI渲染在ColorOS中体现出来的是Omoji功能，用户可以在虚拟世界中拥有真实化身，与光追技术结合能够让虚拟的画面更加逼真，呈现出真实感与趣味性，实现虚拟和现实之间的完美融合。

异构计算是ColorOS面向性能功耗优化的系统级方案，可以把AI渲染和光追带来的计算量提升，分发给不同架构的硬件去计算，让GPU与CPU协同工作，解决了功耗增加的问题。

所以，泛在服务生态的三大核心技术，都是这种技术驱动、生态势能的产物。

至于移动光追，虽然看起来微不足道，甚至离我们有些远，但谁能想到，在全球手机厂商竞逐、针尖跳舞的比拼中，ColorOS率先给出了答案。