性能文章>英伟达推出全新硬件架构 Hopper:数据中心变AI工厂>

英伟达推出全新硬件架构 Hopper:数据中心变AI工厂原创

https://a.perfma.net/img/3110416
2年前
252013

近日,在NVIDIA GTC 上,英伟达发布了全新硬件架构和产品迭代。

 

英伟达全新的GPU架构 Hopper 被称为“下一代加速计算。该架构是以美国计算机科学家先驱 Grace Hopper 命名,继承了两年前推出的 NVIDIA Ampere 架构。同时,公司还发布了首款基于 Hopper 的 GPU,即 NVIDIA H100。

 

英伟达表示:与前身架构相比,Hopper在性能方面有了一个数量级的飞跃,同时带来了六项突破性的创新。

 

  • 制造:H100 采用先进的 TSMC 4N 工艺构建,800 亿个晶体管,专为 NVIDIA 的加速计算需求而设计,同时,在加速 AI、HPC、内存带宽、互连和通信方面取得了重大进步,包括每秒近 5 TB 的外部连接。
  • 多实例 GPU (MIG):MIG 技术将单个 GPU 划分为七个更小的、完全隔离的实例来处理不同类型的作业。Hopper 架构通过在云环境中跨每个 GPU 实例提供安全的多租户配置,将 MIG 功能比上一代扩展了多达 7 倍。
  • 机密计算:英伟达表示 H100 是世界上第一个具有机密计算能力的加速器,可以在处理 AI 模型和客户数据时保护它们。客户还可以将机密计算应用于 医疗保健和金融服务等隐私敏感行业以及共享云基础设施的联合学习。
  • 第四代NVIDIA NVLink:为了加速最大的 AI 模型,NVLink 与新的外部 NVLink 交换机相结合,将 NVLink 扩展为服务器之外的纵向扩展网络,与使用 NVIDIA HDR Quantum InfiniBand 的上一代相比,以 9 倍的带宽连接多达 256 个 H100 GPU。
  • DPX指令加速动态规划:动态规划既是一种数学优化方法,也是一种计算机编程方法。动态编程被用于广泛的算法,包括路线优化和基因组学,与 CPU 相比,它的执行速度最高可提高 40 倍,与上一代 GPU 相比最高可提高 7 倍。
  • Transformer 引擎:Transformer 是自然语言处理的标准模型,也是深度学习模型之一。H100 加速器的 Transformer Engine 会将网络加速到上一代的6倍,并且不会损失准确性。
点赞收藏
堆堆

【HeapDump性能社区官方小编】各位堆友们,+微信号perfMa,可以联系上堆堆哦~

请先登录,查看1条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步
3
1
https://a.perfma.net/img/3110416
堆堆

徽章

【HeapDump性能社区官方小编】各位堆友们,+微信号perfMa,可以联系上堆堆哦~