大模型之家讯 7月31日，华为官宣开源5050亿参数（505B）的openPangu-2.0-Pro大模型，同步开放模型权重、基础推理代码及技术报告。这是继6月30日开源92B参数openPangu-2.0-Flash后，openPangu 2.0系列7大组件开源计划的最新进展。该模型是基于昇腾NPU训练的大规模MoE语言模型，每token激活参数约18B，支持512K上下文长度，训练数据达34T tokens。架构上，模型采用DSA+SWA独立分层混合架构（层配比1:2）、4支流mHC残差连接、3头MTP自投机模块及Muon优化器。华为常务董事余承东此前解释，openPangu-2.0-Pro总参数仅505B，源于华为算力大量支持国内企业需求，且AI算力成本高昂，公司更聚焦时延与吞吐率提升。
