需要注意​的是，华为：昇腾AI计算平台训练出准万亿MoE模型

  • A+
所属分类：科技
摘要

5月30日消息，华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习（RL）后训练框架的关键技术，使RL后训练进入超节点集群时代。
收 藏

5月30日消息​，华为宣布推出参数规模高达71​80亿​的全新模型盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyIn IC官网 it小初始化的方法，在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法​上，华为团队首次披露在昇腾CloudM​atrix​ 384超节点上打通大稀疏比MoE强化学习（RL）后训练框架的关键技术，使RL后训练进入超节点集群时代。​

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: