今年AI论文8大领域突破:特斯拉自动驾驶入选,视频博主最利好,跨界输出很潮流

新闻 2021-11-16 白交
437

还有赛伯朋克手臂

杨净 发自 凹非寺

非常AI 报道 | 公众号 QbitAI

自动驾驶、图像生成、2D转3D……

2021年,哪些AI论文最火?又是哪些论文最具突破性?

最近一位ÉTS研究生、YouTube博主总结了今年AI最新突破列表,视频、文章和代码一应俱全。

我们从中梳理出八大类,就跟大家一起来康康~

视频博主看过来

从中梳理最多的,当属一些利好视频博主的技术了。

比如,这个TimeLens,它可以制作慢动作视频,最大范围可从原有的30帧扩展成900帧。

再比如,这个编辑神器VGPNN——单个视频几秒内多样化生成。

像删除或添加某人、改变背景、时间拉长、改变长宽比、分辨率等功能在它面前,都是基本操作。

还有像在不影响背景或其他对象情况下,移动图像中的对象;使用AI分离真实世界中的声音,语音、音乐和音效之类……

具体在画质处理上,今年英特尔就用英伟达显卡做了画质增强补丁。今年6月,这个Demo在全网火了一把。

为了在GTA上效果更真实,研究人员改变了视频中3点特征:增加汽车的光泽、改善植被的整体外观、让沥青路面看起来更光滑。

对此,有网友表示,这比路径追踪便宜多了。

如果说肆掠的疫情让视频会议火了一把,那么视频会议软件让背景替换技术搬到了台前。

谷歌研究员就提出了一种重新光照的方法Total Relighting,来给人像做背景替换。

它能根据新添加的场景光线,重新点亮任何肖像,以此看起来更加真实。

这一方法还可进一步延伸至电影、专业视频制作中,up主可以用起来。

此外,除了背景替换,还有文字替换,风格还保留的那种。

今年,Facebook提出了一种AI模型,它可以直接翻译或编辑图像中的文本,并且遵照同样的风格。

类似这样~

DALL·E领衔的图像生成

图像生成领域,最具突破性的当属DALL·E——OpenAI在新年推出的“AI设计师”,吴恩达点赞的那种。

简单来说就是,提出你的文本需求, 它来生成图像。从原理上看,类似于GPT-3在文本合成图像方向上的扩展版。

比如输入“OpenAI公司门面”,它就能给出十几张设计图供你选择。

还有像根据手绘草图来生成图像、使用随机微分方程进行图像合成和编辑等进展。

2D图像生成3D模型

这是除图像生成外,另一个2021 AI领域热度极高的研究方向。

试想一下,如果只在现实生活中拍摄一张对象照片,就可创建3D格式将其插入视频或者游戏中,会有多酷。

谷歌研究院提出的ShaRF就可以做到,比如随意拍的一个椅子。

英伟达也提出了类似的解决方案GANverse3D,只需一张图像,就可创建可自定义的3D动画。

还有前段时间火爆外网的假3D场景,也是通过一组照片渲染出来的。

以及LASR模型——从短视频中单拎出一个对象来,创建人类或动物的3D模型……类似的方法还有很多。

万物皆可与Transformer结合

你是否想过把CNN与Transformer结合起来?

2021年,“跨界输出”在AI领域掀起潮流。

基于CNN效率和Transformer的表达能力,德国海德堡大学的研究人员提出一种高分辨率图像生成的方法——Tl;DR。

还不只是CNN和Transformer。

斯坦福和Facebook的研究人员提出GANsformers——基于StyleGAN2架构中Transformer的注意力机制,来生成场景图片。

应用层:试衣间、天气预报

除此之外,还有原有模型基础上应用层面的延伸。

就如谷歌提出了基于StyleGAN2架构的改进版,创建了一个AI在线试衣间。

只需要提供一张你的图像,就能自动试穿任何衣服。

还有像巴塞罗那大学的研究人员开发了一种基于深度学习,能从航拍图像中自动检测漂浮的垃圾,并计算数量。

为此,他们还制作了一个APP,用户可在海面图像中识别这些垃圾。

还有Apple提出应用在相册的ML算法,在iOS 15上自动识别私人照片中的人;DeepMind提出了一个使用雷达深度生成模型,来更准确的预报天气。

AI驱动的赛博朋克手臂

明尼苏达大学的研究人员打造了一款赛博朋克手臂——AI驱动的神经接口。

据介绍,截肢者可以像寻常人一样灵巧的控制手臂。

编程神器:GitHub Copilot

对于开发者而言,今年最具突破性的进展莫过于编程神器——GitHub Copilot,由GitHub与openAI联合开发。

只需描述出你想要执行的命令,就能生成相应的代码。

甚至程序员只要写下一段注释,Github Copilot就可以补全剩下的代码、提出改进的建议,为程序员省去大量查找的时间。

特斯拉的自动驾驶

值得一提的是,这次还有特斯拉的自动驾驶入选。

在特斯拉的AI day上,人工智能总监Andrej Karpathy展示了特斯拉如何通过8个摄像头来获取图像到道路导航的过程。

这当中包括压缩数据、二维转变为三维输出等操作。

……

除此之外,还有像面对第三次人工智能浪潮,研究人员对AI中快与慢思考;AI伪造类似“探探”个人档案,来探讨人类会不会向右滑动;Transformer是如何在CV领域取代CNN的?

感兴趣的旁友,可戳下方链接了解更多详情哦~

目前仍在更新当中。

GitHub链接:
https://github.com/louisfb01/best_AI_papers_2021

相关文章