取消
搜索历史
热搜词
原创
活动
产业创新
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
集成2.6万亿个7nm晶体管,世界最大AI芯片打破单设备训练大模型记录
来源:雷峰网  作者: 长河 2022-06-24 12:54:15
全世界最大的加速器芯片采用 7nm 制程工艺,由一整块方形的晶圆刻蚀而成。

以造出世界上最大加速器芯片 CS-2 Wafer Scale Engine 闻名的公司 Cerebras 近日宣布他们已经在利用“巨芯”进行人工智能训练上走出了重要的一步。该公司训练出了单芯片上全世界最大的 NLP(自然语言处理)AI 模型。

该模型具有 20 亿个参数,基于 CS-2 芯片进行训练。这块全世界最大的加速器芯片采用 7nm 制程工艺,由一整块方形的晶圆刻蚀而成。它的大小数百倍于主流芯片,具有 15KW 的功率。它集成了 2.6 万亿个 7nm 晶体管,封装了 850000 个内核和 40GB 内存。

单芯片训练 AI 大模型新纪录

NLP 模型的开发是人工智能中的一个重要领域。利用 NLP 模型,人工智能可以“理解”文字含义,并进行相应的动作。OpenAI 的 DALL.E 模型就是一个典型的 NLP 模型。这个模型可以将使用者的输入的文字信息转化为图片输出。

比如当使用者输入“牛油果形状的扶手椅”后,AI 就会自动生成若干与这句话对应的图像。不止于此,该模型还能够使 AI 理解物种、几何、历史时代等复杂的知识。但要实现这一切并不容易,NLP 模型的传统开发具有极高的算力成本和技术门槛。实际上,如果只讨论数字,Cerebras 开发的这一模型 20 亿的参数量在同行的衬托下,显得有些平平无奇。

前面提到的 DALL.E 模型具有 120 亿个参数,而目前最大的模型是 DeepMind 于去年年底推出的 Gopher,具有 2800 亿个参数。但除去惊人的数字外,Cerebras 开发的 NLP 还有一个巨大的突破:它降低了 NLP 模型的开发难度。

「巨芯」如何打败 GPU?

按照传统流程,开发 NLP 模型需要开发者将巨大的 NLP 模型切分若干个功能部分,并将他们的工作负载分散到成百上千个图形处理单元上。数以千百计的图形处理单元对厂商来说意味着巨大的成本。技术上的困难也同样使厂商们痛苦不堪。切分模型是一个定制的问题,每个神经网络、每个 GPU 的规格、以及将他们连接(或互联)在一起的网络都是独一无二的,并且不能跨系统移植。厂商必须在第一次训练前将这些因素统统考虑清楚。

这项工作极其复杂,有时候甚至需要几个月的时间才能完成。

Cerebras 表示这是 NLP 模型训练中“最痛苦的方面之一”。只有极少数公司拥有开发 NLP 所必要的资源和专业知识。对于人工智能行业中的其他公司而言,NLP 的训练则太昂贵、太耗时且无法使用。

但如果单个芯片就能够支持 20 亿个参数的模型,就意味着不需要使用海量的 GPU 分散训练模型的工作量。这可以为厂商节省数千个 GPU 的训练成本和相关的硬件、扩展要求。同时这也使厂商不必经历切分模型并将其工作负载分配给数千个 GPU 的痛苦。

Cerebras 也并未仅仅执拗于数字,评价一个模型的好坏,参数的数量并不是唯一标准。比起希望诞生于“巨芯”上的模型“努力”,Cerebras 更希望的是模型“聪明”。之所以 Cerebras 能够在参数量上取得爆炸式增长,是因为利用了权重流技术。这项技术可以将计算和内存的占用量解耦,并允许将内存扩展到足以存储 AI 工作负载中增加的任何数量的参数。

由于这项突破,设置模型的时间从几个月减少到了几分钟。并且开发者在 GPT-J 和 GPT-Neo 等型号之间“只需几次按键”就可以完成切换。这让 NLP 的开发变得更加简单。这使得 NLP 领域出现了新的变化。

正如 Intersect360 Research 首席研究官 Dan Olds 对 Cerebras 取得成就的评价:“Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众,这为人工智能开辟了一个激动人心的新时代。”

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:刘灵如
关键字:   AI  芯片  人工智能 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。