一揽子发布了7大影像技术矩阵
杨净 发自 凹非寺
非常AI | 公众号 QbitAI
你敢信,这样一张沙漠里星河密布的照片,会是手机秒秒钟拍出来的?
而像专业摄影中才有的一些操作,比如白加黑减,如今手机也可以做到。
(白加黑减:在一些过黑or过白的场景中,相机智能系统可能会误认为过曝或欠曝,自动调整曝光度,导致白不是白,黑不是黑,呈现一种掺杂灰色的状态,这时候就需要摄影师手动调整曝光。)
这就是以影像建厂的蓝厂vivo,在最新战略发布会上分享的影像技术,从传感器到算法、自研芯片,从风光到人像……还宛如大型预热现场?!
明示一英寸大底、50mm人像镜头、自研芯片AI-ISP架构升级……
有网友评论:要是下一代X90这些技术能放下就好了。
但有一说一,这一次vivo,的确将自己的影像深耕由表及里,由内而外地讲清楚了,还直接摊出自己的秘籍。
这就来带你一文看尽。
vivo如何思考影像技术革新?
通常而言,从技术的维度来看,影像主要有光学、算力、算法三个方面。
具体到用户侧,则涵盖了色彩、夜景、人像、运动、视频等场景去提升体验。
这次vivo直接一揽子发布了7大影像技术矩阵,将其归纳于三个“比肩专业影像”目标当中。
- 比肩专业影像设备:光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎。
- 比肩专业摄影团队:环境理解技术
- 比肩专业后期能力:超感人像系统、苍穹夜景系统。
通过这样一个技术矩阵,搭建起真实世界——成像系统——后处理算法的影像通路。
以光学感知系统为例,则包括与蔡司合作的光学模组、镀膜等技术。此次发布会全新发布了一项新技术——VCS仿生光谱技术。
据介绍,光线在进入感光元件时会先通过color filter,普通图像传感器的color filter光谱,与人眼差异很大,而要继续优化还原又将影响画质;VCX仿生光谱,就是通过改善Sensor QE光谱,信噪比提升20%和色彩还原能力提升15%,让传感器接收的原始信息接近于人眼。
除此之外,会上还提到将对感光元件做一些“升级”——配置更大底的CMO,比GNV提升了77%。
有细心的网友算了算:一英寸大底没跑了。
再以超清画质引擎为例,其典型技术包括光学超分算法。
据介绍,手机因为体积限制,会在光学上做出一些妥协,比如潜望摄像头,原始图像经过镜头后会损失约50%的信息。而光学超分算法通过对镜头的缺陷建模分析,可恢复约35%的损失信息。
引擎中还有Denoise、Demosaic、Deblur等模块,经过1亿多次场景训练,深度运算能力较上一代提升了10倍。
而且还透露,为了配合下一代长焦硬件升级,超清画质引擎可对5倍以上的焦段,理论最高提升64%的拍摄解析力。
当然这不过也只是通过拍摄过程进行拆分。
根据具体的场景,vivo还亮出了特有的技术矩阵。
就专业影像而言,场景无非风光、人像、视频以及特定的夜景这几个类别。
不妨就以竞争最激烈、也是最能体现技术实力的人像、夜景为例。
vivo的超感人像系统包括三大核心技术模块:人像理解、人像美化以及人像氛围。
人像理解技术,它可以对人脸进行语义重点和轮廓细节的提取,建立103个特征点的关键人脸坐标;与此同时,还将对皮肤、手势、肢体关键点进行检测,主体分割IOU的精确度达到了96.15%。
人像美化,则是基于去年S12微米级焕肤塑颜技术的升级;还有人像分化融合技术。
在镜头上则是采用50mm人像焦段,还通过深度感知虚化,与蔡司合作还原了多种经典镜头的效果。
苍穹夜景系统也进行了全面的升级,发布上公布了三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。
其中超感光模型,顾名思义,可将感光能力最大提升100%,ISO最高可支持102400。
据说,这样就可以拍到银河了哦~手持星空了解一下。
而为了适应像视频这样对计算处理能力要求高的场景,vivo自研芯片也有更新。
最大的更新,就是架构的升级:从ISP到AI-ISP。
传统ISP能以低延时处理大量的数据流水,但只能理解已知、特定的问题;AI-ISP则相当于给传统ISP芯片加个AI大脑——通过硬件直连的方式,将AI计算直接融入ISP Pipeline中,从而实现处理能力、能效的提升。
基于这样的升级,下一代芯片在片上内存单元(每秒1.3万亿比特的峰值数据吞吐速率)、AI计算单元(每瓦16.3万亿次运算的峰值能效比)、图像处理单元*(夜景降噪效果提升20%等)都有相应的突破。
两个影像战略
好了,说到这里vivo也不瞒了,直接公布了自己的影像战(mi)略(ji)。
两大支点:联合创新+自主创新。
联合创新上,vivo与蔡司及上下游厂商,研发更好光学系统。而在自主创新上,则是布局算法和影像芯片的研发,软硬件协同并持续迭代升级。
不管是合作还是自研,目标只有一个——构建底层核心能力,从而得以在影像长赛道上持续深耕。
最后,对于vivo这一波影像秀肌肉,你最期待哪项新技术呢?