首页 行业动态文章正文

gigantic_gigantic漫画

行业动态 2022年02月06日 01:12 4139 admin

呆板进修范围权势“跑分”MLPerf v1.1演练榜单已出炉。

这次,在BERT模子的功效表上有一个“特殊”的数字:1196.638(秒钟),来自谷歌。

如何?谷歌演练一个BERT要逼近1天,别家都只有几秒钟?

NONONO!

这本来是谷歌从未表露的巨型本子BERT,参数范围有4810亿,不是旁人惟有几亿参数那种的BERT。

它也是谷歌本年在MLPerf“非规范区”提交的一个大作:

所有花了2048块TPUv4,约20钟点演练而成!

有史此后更大本子的BERT规范BERT模子(BERT Large)参数范围惟有3.4亿,而此次4810亿的巨型BERT是有史此后更大的一个本子。

这俩之间径直差了好几个数目级。

而谷歌表白,演练巨型模子恰是公司的“重中之重”(重要用来云效劳)。

以是此次她们基础没有加入任何规范分区里的跑分评选,只在非规范区“开释了自我”。

MLPerf比赛有俩分区:

Closed区也即是规范区,参加比赛商在ResNet-50等规则模子上跑分;

Open区也即是非规范区,参加比赛商不妨试验任何规则除外的模子和本领来到达目的本能。

在大普遍参加比赛商都“挤”在规范区演练小范围的模子时,谷歌职工“凡尔赛”道:

“在短短几秒内‘豪掷’4000块芯片来演练巨型BERT才是真的酷(爽)。”

谷歌由此也蓄意MLPerf基准尝试能引进更多的大模子,由于她们感触实际中才不会像非规范区的参加比赛大作那么用那么多芯片来演练那么小的模子。

而此次的巨型BERT本能也不赖,它的猜测精确率为75%,比MLPerf诉求的72.2%要高。

同声,和规范区其余参加比赛商一律,谷歌也用较少的文本数据样品来到达目的精度。

简直来说,规范区诉求一个步调运用近5亿个token序列举行演练,每个序列的长度大多为128个token。

而Google只运用了大概2000万个序列,然而每个序列的长度为512token。

其余,实行这次处事的2048块TPU系一致发端也是为了逢迎公司的消费和研制须要,以是它并未“漠然置之”——暂时已用来Google Cloud效劳。

英伟达在规范区“战绩显耀”其他MLPerf截止,重要在“规范区”,自始自终,英伟达战绩更高。

比方它运用最新一代GPU A100的体例在演练ResNet-50耗费的功夫上包办前四,个中最快只需21秒——比本年6月24秒的更高功效还快。

固然,此战绩所有花了4320个A100,在1080个AMD的EPYC x86处置器的扶助下并行实行。

但在不拼芯片和长机处置器的情景下,比赛敌手可就碾压起英伟达了。

个中英特尔Habana用256个Gaudi加快芯片,只需3.4秒钟就演练好ResNet-50。

gigantic_gigantic漫画  第1张

Graphcore则只需3.8秒钟,用了256块IPU加快器芯片和32块AMD EPYC长机处置器。

英伟达在装备16个EPYC处置器的64路A100体例下,花了4.5秒钟。

打败了英伟达的Graphcore,则夸大本人最看中本能和本钱之间的平稳。

就比方Graphcore在16路体例上演练ResNet-50奢侈28秒钟,比英伟达DGX A100体例快一秒钟,但她们用到的POD-16是DGXA100本钱的一半。

此次参加比赛的其余厂商业中学,三星在电子演练普遍版BERT的速率上赢得了第二名,仅为25秒。花了256个AMD芯片和1024个英伟达A100。

微软的Azure云效劳初次参加比赛,它运用192个AMD EPYC处置器和768个A100在调理数据上演练图像分隔模子赢得了满分。

同声Azure也表白后续也会像谷歌那么在非规范区提交少许功效,固然微软和英伟达在此前不久颁布了暂时更大的模子“威震天-图灵”,但她们表白:

很多公司蓄意将人为智能用来潜心手段,而非须要4000块芯片本领运转的巨型谈话模子。

更多评阅截止大师不妨参考官网数据。

榜单地方:https://mlcommons.org/en/news/mlperf-training-v11/

参考链接:https://www.zdnet.com/article/google-uses-mlperf-competition-to-showcase-performance-on-gigantic-version-of-bert-language-model/

— 完 —

量子位 QbitAI · 头条号签订契约

gigantic_gigantic漫画  第2张

关心咱们,之一功夫获知前沿高科技动静

标签: gigantic

发表评论

暗号游戏门户Copyright Your WebSite.Some Rights Reserved. 备案号:黑ICP备2021006842号-3