‌腾讯发布开源MoE大语言模型Hunyuan-large,总参数达398B‌

大模型之家讯 11月5日,腾讯发布了开源MoE大语言模型Hunyuan-large,总参数达到398B,为业内最大规模,激活参数量52B。该模型在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度上全面领先,超越了Llama3.1、Mixtral等一流的开源大模型。技术创新方面,Hunyuan-large可实现高质量合成数据,有效应对自然数据的不足。此外,其预训练模型支持高达256K的文本序列,显著增强了处理长上下文任务的能力。为填补行业真实长文评测集不足,腾讯混元还即将开源企鹅卷轴评测集,助力业界应用研究。

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注