谷歌年度AI技术总结来了!Jeff Dean执笔,附赠27个开源工具和数据大礼包

新闻 2022-01-12 梦晨
436

五大趋势总结,附赠27个开源工具和数据集大礼包

杨净 梦晨 发自 凹非寺
非常AI 报道 | 公众号 QbitAI

Jeff Dean亲笔盘点谷歌AI研究成果,已经成了一年一度的保留节目。

今年也不例外,还是他抽出一部分假期时间完成的。

过去一年,谷歌研发投入依然是全球最高,在一整年的时间里产出不少成果。

光论文数就达750+篇,让人眼花缭乱。

如果你担心自己错过了一些的话也不用担心,这位谷歌AI掌门人都帮你总结好了。

Jeff本人亲眼目睹了AI过去几十年的诸多进展,对当下最大的感触是:

早期机器学习方法往往不尽如人意,不过终于催生出了很多非常成功的现代方法,这些进步最终将惠及数十亿人的生活。

他把2021年机器学习进展总结成五大趋势,另外还给读者送上一份大礼包——

一年来谷歌发布的27个开源工具和数据集汇总

涵盖多语言文本、医学、建筑、舞蹈动作、电影标题、文本到表格生成等众多领域。

如果你有需要可在微信公众号后台回复关键词“姐夫2021”获取。

下面就先来看一下,这个被誉为行业风向标,Jeff眼中的机器学习五大趋势都有哪些。

简单速览:

  • 趋势1:模型更大让AI能力更通用
  • 趋势2:机器学习效率持续提高
  • 趋势3:AI应用对个人更有益
  • 趋势4:AI推动科学研究和医学健康
  • 趋势5:对机器学习的理解加深

趋势1:模型更大让AI能力更通用

过去一年中,语言模型的参数规模仍在不断增长,纷纷超过1750亿的GPT-3。

例如DeepMind的Gopher有2800亿,微软英伟达联合推出的威震天-图灵到了5300亿。

谷歌自己的GShardGLaM模型更是达到6千亿和1.2万亿。

训练这些模型用到的数据集规模也在同步增长。

数据集和模型大小的增加让AI在传统NLP任务上的准确性显著提高,还在更多新能力上有所突破。

代表性的研究有Quoc Le团队提出新的微调方法Instruction Tuning

新模型FLAN在没训练过的任务上的零样本学习能力超过GPT-3少样本版本的表现。

以及谷歌I/O大会上所演示的LaMDA模型,在开放式多轮对话上有所突破。

除了语言模型,图像、视频方面这一年都被Transformer架构同时刷新了模型规模和性能基准。

谷歌在这方面代表性的研究便是Vision Transformer(ViT)以及Video ViT

另外还有一个重要的结论是,同时用图像和视频数据训练可以提高模型在视频任务的性能

图像生成上,这一年里扩散模型 (Difusion Model)成了GAN的有力竞争对手。

级联(Cacade)扩散模型SR3以低分辨率图像为输入,便可从纯噪声中构建出对应的高分辨率图像。

多模态模型方面,模型规模的增大还让机器人get新能力。

机械臂只需要学会自然语言描述的“把葡萄放在碗中”这项任务,便可执行“把水瓶放在托盘中”的全新任务。

Jeff总结到,这些大模型通常使用自监督学习方法,这个趋势令人兴奋。

一方面可以大大减少工作量,另一方面在长尾任务中也能取得更好表现。

谷歌AI下一步的努力方向是研发一个叫Pathway的稀疏模型新架构,把它训练成可以执行成千上万种任务的通用模型。

趋势2:机器学习效率持续提高

参数规模和数据量的扩大,对模型的训练效率提出了新的挑战。

作为应对,谷歌在加速芯片、编译器、模型架构和算法方面分别取得了进展。

芯片方面,新发布的TPUv4与上一代相比性能提高2.7倍,用高速网络连接在一起可以支持超大模型的训练。

移动设备上,新一代Pixel6手机上搭载全新的Tensor处理器,在手机上做到4k60帧视频处理,以及实时机器翻译。

编译器方面,谷歌推出基于XLA编译器的自动并行化系统GSPMD

即使硬件没有进步,也能做到在150种模型上性能全面提高5%-15%,甚至个别情况下提高了2.4倍。

这一成果已经用在了GShard-M4、LaMDA、ViT等多个大模型上。

架构方面,一种提升效率的方法是靠人类的创造力设计。

这里还是要说到Transformer的各类变体在这一年中大放异彩,同时在NLP和CV领域频频刷榜。

另一种方法便是机器驱动的神经架构搜索(NAS),大大减少算法开发的工作量。

虽然NAS本身的计算量很大、成本高昂,但总体上可以显著降低下游开发和生产环境中的计算量。

如NAS方法搜索出来的Evovled Transformer,在参数减少37.6%的情况下获得0.7%的英德翻译性能提升。

视觉任务上,NAS方法得到的Efficientnetv2模型训练速度比之前的SOTA模型提高了5-11倍。

除了模型架构,AutoML-Zero还使用NAS方法来寻找新的、更有效的强化学习/监督学习算法。

算法方面,增加对稀疏性(Sparsity)的利用是一个重要进展。

谷歌稀疏的Switch Transformers与密集的T5模型相比,训练效率提高了7倍。

GLaM模型把Transformer与Mixer of Expert风格的层结合起来,训练和推理成本与GPT-3相比分别减少了3倍和2倍。

另外,BigBird模型用稀疏性降低了Transformer的核心机制——注意力模块的计算成本。

尽管稀疏性取得如此多成绩,Jeff Dean还是认为目前的研究仅触及了这个方向上的皮毛

未来更继续深入研究还有更高的潜在回报。

趋势3:AI应用对个人更有益

除此之外,Jeff Dean还关注到移动设备上的个性化AI应用。

得益于ML的发展与处理器的创新,手机可以更加连续有效地感知周围环境,用户体验也更加丰富。

对一些日常使用的功能,比如计算摄影、实时翻译等都带来了改变。与此同时,还加强了隐私保护。

计算摄影HDR+功能为例,即便在非常暗的光线下拍照,也能展现更真实的情况。

跨语言实时交流也成为一大趋势。由于自监督学习、noisy student training自训练算法等技术的发展,语音识别的准确性继续取得重大进展,嘈杂、重叠语音等环境以及跨语言的效果有了明显改善。

日常交互也变得越来越自然,比如自动呼叫、机器学习代理,即使经常执行的简短任务,也可通过智能文本选择工具进行改进。

还有一些小例子也体现出AI的有益之处,比如注视识别技术,防止你看手机屏幕时变暗。

机器学习在确保个人和社区安全上也提供新方法。

比如“可疑信息警告”来应对疑似网络钓鱼攻击,“安全路线”可以帮助识别和检测什么时候该踩刹车,提示备用路线。

鉴于构成这些新功能的数据具有敏感性,隐私计算也就搬到了台前。

安卓系统可确保私有计算核心处理的数据不被任何APP共享,与此同时还阻止了其内部的任何功能直接访问网络。

趋势4:AI推动科学研究和医学健康

近年来,我们已经看到机器学习对基础科学的影响越来越大,从物理学到生物学,有很多令人兴奋的实际应用。

计算机视觉作为典型,已经应用于解决个人和全球范围的问题。

它既可以帮助医生进行日常工作,扩展对神经生理学的理解,也可以提供天气预报预测以及救灾工作的优化。

去年,谷歌与哈佛合作展开了第一个大规模人类大脑皮层突触连接的研究,重建了人类大脑组织成像

ps:图中显示了成人大脑860亿个神经元中的6个

而若向外延伸,计算机视觉在应对全球挑战上也有突出的作用,比如基于深度学习的天气预测,预报12小时内的天气和降水,比传统的物理模型更准确。

还有像在文档游戏,包括芯片上的自动化设计布局,以及在医学、人类健康、应对气候变化上的关键作用也不容忽视。

医学健康为例,在基因组学的研究中机器学习可以帮助处理序列数据,看到基因组数据的隐藏特征,还能加速对个性化、健康的基因组信息的使用。

Jeff Dean还强调在疾病诊断,尤其是在医学成像上的应用,比如在改善乳腺癌筛检、检测肺癌、加速癌症的放射治疗、标记异常X射线和前列腺癌期活检等领域。

另一个值得关注的方向就是利用NLP技术来分析结构化数据与医疗记录,辅助临床医生提供更准确的诊断护理。

尽管机器学习对于扩大获取途径和提高临床诊断的准确性非常重要,但我们看到一个同样重要的新趋势正在出现:智能手机上的健康功能,帮助用户对自己的健康状况进行评估。

趋势5:做负责任的人工智能

随着机器学习越来越广泛地应用于社会中去,保证其更公平公正的使用正成为下一个技术出发点。

一个重点领域就是基于用户活动的推荐系统,最近工作揭示了如何提高单个组件和整个推荐系统的公平性。

在机器翻译上的应用也同样重要,因为大多数机器翻译系统是孤立地翻译单个句子的,没有附加的语境。

它们往往会加强与性别、年龄或其他领域有关的偏见。去年谷歌发布了个数据集,用于研究翻译维基百科传记时的性别偏见。

部署机器学习模型的另一个常见问题是分布转移。如果模型所依据的数据统计分布与所输入的数据统计分布不一致,那么模型的行为可能是不可预测的。

在最近的工作中,谷歌Deep Bootstrap框架可以帮助比较、理解模型在这两种情况下的表现,使得模型更好适应未知环境,并对固定的训练数据集不会产生太大的偏见。

除此之外在机器学习上游——数据收集和数据集管理上,也有相应的探索。

还有像处理网上辱骂行为、模型的交互式分析和调试、机器学习的可解释性(以AlphaZero国际象棋系统为典型),以及改善社区生活等维度都是谷歌解决的方向。

总之,再三强调一个愿景:做负责任的人工智能。

One More Thing

在这篇博文下互动区,看到了熟悉的身影。

那就是让Jeff Dean陷入歧视风波的那位前员工Timnit Gebru,她也转发了一波~

不过,这画风……嗯,就有点尴尬。

好了,感兴趣的旁友,可戳下方链接看详细报告~

以及别忘了到微信公众号后台回复“姐夫2021”,获取27个谷歌开源工具及数据集汇总。

直达链接:
https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html

相关文章