蚂蚁集团开源万亿参数强化学习框架Awex,助力高效模型训练

大模型之家讯 11月20日,蚂蚁集团宣布开源其自主研发的高性能权重交换框架Awex。该框架作为支撑其万亿参数模型的核心技术,可实现数千卡GPU集群上5-10秒完成万亿参数级权重同步。此前,蚂蚁集团已于10月正式开源两款旗舰模型——非思考型Ling-1T与思考型Ring-1T,其中Ring-1T基于Awex框架实现高效训练。

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注