取消
搜索历史
热搜词
原创
活动
产业创新
转型理念
ENI专访
当前位置:首页 >文章发布 > 正文
英特尔Gaudi2处理器发布,针对中国市场,可为大语言模型提供推理性能
来源:网易科技  作者: 李姝 2023-07-12 09:27:22
英特尔AI产品战略暨Gaudi2新品发布会今日在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。

英特尔AI产品战略暨Gaudi2新品发布会今日在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。

据介绍,Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,具备:24个可编程Tensor处理器核心(TPCs), 21个100Gbps(RoCEv2)以太网接口, 96GB HBM2E内存容量,2.4TB/秒的总内存带宽, 48MB片上SRAM,成多媒体处理引擎。

英特尔Gaudi2处理器发布,针对中国市场,可为大语言模型提供推理性能

据悉,Gaudi2加速器的性能在6月公布的MLCommons MLPerf基准测试1中得到了认证。

此外,Gaudi2可为大规模的多模态和语言模型提供推理性能。在最近的Hugging Face评估中,其在大规模推理方面,可以支持运行Stable Diffusion2、70亿以及1760亿参数BLOOMz3模型。在Stable Diffusion训练上,Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。

据资料显示,Gaudi2深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。

目前,英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B,同时包含双路第四代英特尔至强可扩展处理器。

免责声明:本文系网络转载,版权归原作者所有。本文所用图片、文字如涉及作品版权问题,请联系删除!本文内容为原作者观点,并不代表本网站观点。
编辑:刘婧
关键词:   芯片  AI  英特尔  大模型 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。