被央视点名
杨净 萧箫 发自 凹非寺
非常AI | 公众号 QbitAI
也是没想到,这次冬奥会,竟然成了科技互联网大厂的集体整活舞台。
有自制数字雪花将你直接送进冬奥开幕式,四舍五入就是人在现场:
以及虽然抢不到冰墩墩,但可以拥有冰墩墩特效。
还有AR版的数字藏品,无论拍视频还是照相都能“带上”:
各种各样的新玩法,简直让人目不暇给。
就在最近,央视《消费主张》栏目中盘点了冬奥期间的黑科技应用。
其中就点名了华为云联合央视频推出的“数字雪花”。
这个项目不仅搞出了京剧脸谱雪花等新玩法,更是用AI来实现了编曲和绘图等“艺术创作”,连创意生成都带着点科技感。
可以说,又秀又国潮国风~
这当中究竟有哪些黑科技含量,央视为何偏偏点名华为云?
数字雪花背后的黑科技
了解原因之前,先来看数字雪花是怎么互动的。
在这里,用户只需要上传一张照片,就能生成专属“脸谱雪花”或是“漫画人像雪花”,识别过程不到1秒钟:
而且不光雪花中心不同,雪花周围的形态也是独一无二的。
之后,这片代表着你个人身份的雪花,将会永久地保存在华为云上。
这样的操作,看起来貌似很简单轻松。
但华为云的工程师在《消费主张》栏目中感慨,黑科技含量并不低。
通常来说,生成上图中的这样一片数字雪花,有几个技术要点:
- AI利用人脸识别、风格迁移等算法,以人脸特征生成脸谱、漫画风等效果
- 利用区块链技术,确保数字雪花的独特性与唯一性
- 利用云渲染等技术,渲染雪花飘落路径、开幕式场景等
听起来似乎并不复杂,然而细看雪花特点就会发现,还有很多问题亟待解决——
AI技术上,如何仅凭手机算力,在1秒不到的时间里生成风格迥异的人像?
这次的雪花形态“确保全球每个用户领到的都不一样”,如何做到?
参与人数超2000万,如何让每一片雪花实时入场的效果都有差异?
……
另外,还有更关键的挑战,这种重大赛事期间在全国性的平台上做应用,对技术稳定性等要求还会更高。
先说说人像生成的问题。
虽然听起来就是风格迁移算法结合GAN的技术,然而实操中就会发现,还有不少“小问题”需要考虑。
例如,京剧脸谱“自带”性格特征,如红色代表正直、黑色代表勇猛、绿色代表顽强、黄色代表沉着等。
△像这位就是AI眼里“正直”的小伙子
如何确保给用户生成的脸谱是最适合的?
这里需要AI不仅能提取人脸,更要通过人脸识别表情和属性(性别年龄等),来筛选合适的脸谱形状和配色等。
也就是说,AI不仅能分析脸型和五官,还得学会“看面相”(手动狗头)。
除了脸谱以外,又如何确保上传的照片是真人,而非动漫人物或猫狗等“替身”,提升AI识别的准确率和速度?
为了解决上述两个问题,华为云这次用上了拥有30亿参数的盘古CV大模型。
一方面能同时运行人脸识别、表情和属性分析、生成网络等多个CV算法;
另一方面,作为业界最大的CV预训练语言模型,分析人像只需1秒不到、小样本识别的精度也更高,能准确排除“非真人”的图像。
例如,这里我们试着上传一只有鼻子有眼的汤姆,结果就生成失败了:
如果没有盘古CV大模型加持,要想用AI分析特征并生成风格化的人脸,不仅识别质量确保不了,不同风格的生成效果可能还要再打折扣。
然后就是数字雪花的独特性了。
用区块链可以确保雪花作为数字资产的独特性,然而雪花本身的形态呢?
这次储备的雪花数量达到80亿个,但仅凭CG渲染技术,真能做到每片雪花的形态都不一样吗?
△能看出来有什么不一样吗?
为了解决这个问题,华为云用上了散列算法,也就是我们常说的哈希算法。
作为一个输出长度固定的算法,散列算法能将所有输入长度不定的数据,表示成一个输出长度固定的“数字指纹”,也就是哈希值。
由于这个“数字指纹”是不可逆的,也就是不可能通过输出反推到输入,因此就能以哈希值来直接对应雪花的形状细节。
由于用户在输入图像和昵称等信息时,就拥有了唯一的数据哈希值,由它对应渲染出的雪花形态也是唯一的,也就能确保每个用户的雪花形态都不相同。
结合名字、手机号、雪花ID序号、存证时间、授时凭证编号等“多重保险”,还能进一步确保雪花作为数字资产的独特性。
在区块链这方面,华为云自带花瓣链等技术储备,确保端云协同的高效性,生成雪花的同时就已经在云上记录好了数据,永久保存。
最后就是进入开幕式的效果了。
在这次参与的2000多万人中,不仅每个人雪花入场的角度不一样,而且就连背景音乐也不同。
这又是怎么做到的?
事实上,这次的开幕式入场,全部采用了云渲染的技术。
华为云渲染的算力超过了30万核,不仅能实时渲染出不同角度的雪花飘落效果,甚至还支持4K场景的渲染(当然,这也取决于手机播放能力)。
也就是说,只要手机观看效果够好,你就能看到自己的数字雪花以4k分辨率飘进会场的模样。
至于开幕式独特的背景音乐,同样采用了AI技术。如果打开手机声音,就能听到一段AI专门为你编写的入场音乐(8秒钟)。
这是华为云与中央音乐学院合作的技术之一,也是华为的“老艺能”了。
之前在2019年,华为就曾经借助AI模型续写了舒伯特的《d小调第8号交响曲》。(模型还迁移到了Mate 20 Pro上)
最终做出来的数字雪花,就连华为云内部也有不少技术专家在玩。
例如华为云AI首席科学家田奇、华为信息论科学家白铂等,不仅自己玩,还邀请身边的人一起:
这也称得上是华为云一次AI实力的趣味“秀肌肉”了。
数字雪花只是“顺路”结果?
但其实这次的出圈亮相,也只不过是华为云诸多应用中的一个。
相比于在各行各业智能化升级,数字雪花更像是顺路结下的果。
直接拿数字雪花来说,背后技术就主要集成在华为云MetaStudio数字内容生产线上。
此前,这条生产线就为华为云首位数字人员工云笙、湖南卫视数字主持人小漾提供技术支撑,囊括了如NLP、盘古大模型、AI语音驱动、AI离线渲染加速等能力。
△云笙
像国产电影《长津湖》,就是华为云与伙伴们基于云渲染技术制作的。
这条生产线之外,华为云的技术能力,其实都在比想象中更深入现实的地方落地。
从生活中的方方面面,到城市当中的基础设施,再到偏远的大凉山区、太行山脉……
某种程度上,这也是驱动央视频选择与华为云合作的主要原因。
首先是与我们生活息息相关的领域,比如农业生鲜、医疗、物流、教育、游戏娱乐。
生鲜水果方面,以草莓为例,为了保证口感,早期种植阶段就很关键。
华为云就与百果园合作,开发了基于一站式AI开发平台ModelArts训练的农作物病虫害AI模型,只需拍照,就可推荐出植保方案,帮助农户答疑解惑。
除此之外,还深入到草莓的运输、售卖、营销等各个环节,解决企业供应链、损耗滞销等难题。
医疗健康方面,华为云EI医疗智能体基于AI的基因组分析,将测试病毒所需的时间从数小时减少到数分钟。
目前这些系统已经部署在40多个国家、100多家医院,帮助当地国家抗击病毒。
还有在物流方面。德邦快递借助华为云,利用自然语言、人工智能的方式进行线上业务辅助,提升审批时效5.6倍,呼叫时间平均节省17分钟,
还有针对常见的暴力分拣问题,基于华为云的智能视频分析技术。这项服务可自动识别拣货时泡、扔、推倒、用力踢等行为,后续还将支持叉车违规AI识别。
在这一服务支持下, 德邦快递的破损率同比下降14.3%。
还有像关乎国计民生的教育层面,华为云就与知途教育合作,推出了AI高校学科建设解决方案。在疫情期间,暨南大学校园就率先投入使用,学生使用ModelArts平台完成课题实训和毕业设计。
在文娱方面,华为云还照顾到了游戏开发者,提出了ModelArts For Games解决方案。
这套方案曾为西山居打造了个基于强化学习算法的AI竞技机器人;为网易伏羲实验室提供了计算平台和强化学习方面的支持。
如果这些方案你都不曾感知,那么牵涉到城市基础设施中的方方面面,华为云更是在意想不到的领域创造价值。
在上海,有个城市最小管理单元数字治理——南京大楼。
华为云做的不光是超精细建模实现视觉还原,还接入了多维数据(政府业务、物联感知、视频AI、门店管理等),在面对人流密集、乱停乱放、疫情管理等城市问题时也能数字化管理。
在苏州,华为云建设了内涝水尺智能识别系统,可7×24小时全天候监控内涝态势,做出准确预判。
在重庆永川,基于盘古CV大模型独创了电力行业的预训练模型,每天采集5万张高清图片,样本筛选效率提升约30倍。
……
实际上,除了参与城市基础设施建设,在更偏远的地方,其实也有它的身影。
最近、也是最典型的例子,就是前段时间,华为云为四川大凉山区小孩送去新年冬衣。
依托于盘古多模态大模型的“以文生图”能力,再加上服装设计师携手合作,将原本长达三周的新衣设计流程提速到一周以内。
同样意想不到的地方落地,还有在层峦叠嶂的太行山脉。
他们联合山西沃成生态环境研究所,为当前总数总数不足400只、国家一级保护动物华北豹,开发了一款自动识别系统。
它可完成自动红外相机影像数据物种识别和筛选,快速完善华北豹个体资料数据库,进而及时掌握华北豹种群数量及变化情况。
基于这样全方位的行业落地能力,也就不难理解,在这样一届特殊的冬奥会,央视频会选择与华为云进行合作。
但另一方面,也正因这届冬奥会的特殊,促成了更多像华为云与央视频这样“跨行业”的技术黑科技。
生活才是AI施展的大舞台
这种特殊,表面上看是疫情常态化下的特殊决定——照顾更多人的观看体验,用技术增强观众的参与感。
但实际上,却是一次面向全球的科技展示。
从开幕式“倾泻而下”的巨型LED屏、再到奥运冠军背后的AI、数字人教练……
以及在赛场外为了照顾到少数人的手语解说虚拟人设置、再到各平台开发的特效、互动方式……
此前人民网统计,这届冬奥会中共有212项技术落地。
科技,正在重新定义奥运会。
它的更高更快更强更团结,也已经不再仅仅代表人类极限的挑战,还意味着着科技水平和能力。
对于企业来说,奥运会,也正在成为自身技术展示的全新载体。
以华为云为例,不光数字雪花,还有各种技术能力直接渗透到了赛场内外。
在赛场内,冰球、短道速滑和滑雪大跳台等赛事,就都用到了华为云的“AI助教”来协助训练和参与打分。
例如这是在冰球训练时,利用AI来跟踪姿态、实时检测队员的站位和追踪球的轨迹:
在赛场外,有群机器人“志愿者”参与做饭、送餐、配送、清扫等各项工作,背后同样能看见华为云的身影。华为云面向机器人开发者与用户,构筑了云机器人开放平台,实现云与机器人的融合,助力行业机器人开发更灵巧、管理更便捷。
甚至于连场馆内的温度调节、冰面故障检测这种不容易被感知到的细枝末节,背后都有华为云盘古大模型在做技术支撑。
这样一次集成亮相,对企业来说,不光只是一次难得的机遇,还有更深层次的普及意义。
应用在运动员身上的AI助教,可以是面向普通消费者的“健身教练”。
AI根据不同个人的身体状况,结合计算机视觉肢体动作分析,提出实时指导意见。
而在场馆内做饭、清扫、配送的机器人,可以更多应用在社会生活、家庭场景中。
正在北京环保园工作的收纳机器人,就能通过3D位姿、抓取估计、路径规划等算法,可准确识别物体位置进行抓取,并搬运到指定的位置,实现杂物的自动收纳、垃圾分类清理等功能。
……
类似的例子还有很多。
不可否认的是,北京冬奥是一场科技盛宴,但我们的现实生活才是AI真正施展的大舞台。
一方面,冬奥会上的“炫技”,在我们日常生活中其实触手可及。
冬奥赛场上协助运动员训练的AI姿态检测和动作追踪,在目前的智能手机摄影和特效中同样有所应用;
而像应用于辅助打分和赛场监测的盘古CV大模型,能生成每个人都能拥有的“数字雪花”。
另一方面,即便是这次冬奥中应用的、日常生活中还不常见的技术,未来肯定也会进一步“落入寻常百姓家”。
放大到整个科技行业的进展来看,真正适合应用的前沿技术,最终量产并落地是必然的趋势。
无论是最近爆火的元宇宙、以及其带来的一系列NFT和VR等“虚实相生”的热潮,还是智能机器人所展现出来的潜力,最初也都由区块链和AI这些技术发展而来。
或许在不久的将来,我们在家也不需要再给机器人下命令、或是安排工作,他们自己就具备了“云上协作”的能力。
冬奥黑科技已经来了,距离我们用上还会远吗?