Meta为元宇宙建全球最快AI超算,1.6万个A100 GPU,英伟达都赚麻了

新闻 2022-01-25 晓查
434

今年年中建成

晓查 发自 凹非寺

非常AI | 公众号 QbitAI

今天,扎克伯格宣布,Meta要建造全球最快的AI超级计算机,而且就在2022年年中建成。

这台超算被命名为“AI研究超级集群”(RSC),包含16,000个英伟达A100 GPU,算力达5 EFLOPS(混合精度)。

而目前全球最快超算富岳在混合精度下的最高算力为2 EFLOPS。

Meta为元宇宙建全球最快AI超算,1.6万个A100 GPU,英伟达都赚麻了

Meta要这么强的超算干什么?当然是为了公司的元宇宙。

Meta工程师Kevin Lee在官方博客中说:

我们希望RSC将帮助我们构建全新的AI系统,例如可以为大量人提供实时语音翻译,每个人都可以说着不同的语言,这样他们就可以无缝协作研究项目或一起玩AR游戏。

最终,使用RSC完成的工作将为下一个主要计算平台元宇宙发挥重要作用。

要让不同语言的人在元宇宙无障碍交流,背后的自然语言处理训练需要巨大的算力。

虽然超算还未建成,但Meta已经开始了训练超大NLP和CV模型的研究,将用它来训练数万亿参数模型,其规模比现在的GPT-3还高一个数量级。

Meta为元宇宙建全球最快AI超算,1.6万个A100 GPU,英伟达都赚麻了

1.6万个A100核心

超算RSC的组建工作始于一年半以前。

英伟达和数据存储公司Pure Storage、服务器公司Penguin Computing是Meta超算的主要供应商。

RSC的第一阶段已经启动并运行,它由760个Nvidia DGX A100系统组成,总共包含6080个GPU。

Meta为元宇宙建全球最快AI超算,1.6万个A100 GPU,英伟达都赚麻了

等到完全建成时,RSC将总共拥有16,000个GPU,成为使用A100数量最多的超算

Meta(当时还叫Facebook)的第一代AI超算设计于2017年,这台超算集群中拥有22,000个NVIDIA V100 GPU,每天运行35,000个训练作业。

2020年,Meta的工程师开始利用新的GPU和网络结构技术,从头设计新一代超算的冷却、电力、网络和布线等各种系统。

相比第一代超算,RSC运行CV工作流程的速度提高了20倍,运行NVIDIA集体通信库(NCCL)的速度提高了9倍,训练大型NLP模型的速度提高了3倍

Meta为元宇宙建全球最快AI超算,1.6万个A100 GPU,英伟达都赚麻了

现在训练一个具有数百亿参数的模型只需三周,而之前是九周。

16TB/s带宽

除了核心系统本身,Meta还打造一个强大的存储系统,可以提供16TB/s的存储带宽和EB级别的存储容量。

为了满足AI训练日益增长的带宽和容量需求,Meta从头开始开发了一种存储服务,即人工智能研究商店(AIRStore)。

为了优化AI模型,AIRStore利用一个新的数据准备阶段,来预处理用于训练的数据集。经过准备的数据集可用于多次训练运行。

AIRStore还优化了数据传输,从而最大限度地减少了Meta数据中心间主干上的跨区域流量。

最后,在疫情和半导体芯片缺货的情况下,Meta能一次买下这么多GPU,恐怕英伟达才是最大赢家,老黄真的是赚麻了。

参考链接:
[1]https://ai.facebook.com/blog/ai-rsc
[2]https://venturebeat.com/2022/01/24/meta-is-developing-a-record-breaking-supercomputer-to-power-the-metaverse/

相关文章