大模型之家讯 字节跳动旗下豆包大模型团队近日宣布开源其自主研发的MoE架构关键优化技术——COMET，该技术可将大模型训练效率提升1.7倍，成本节省40%。COMET通过创新计算-通信重叠技术和系统层面的流水线编程方式，显著降低了MoE专家间的通信开销。该技术支持业界大部分主流大模型，易于接入现有训练框架，且与DeepSeek的DualPipe方案可联合使用，进一步压缩模型训练成本。
大模型之家讯 字节跳动旗下豆包大模型团队近日宣布开源其自主研发的MoE架构关键优化技术——COMET，该技术可将大模型训练效率提升1.7倍，成本节省40%。COMET通过创新计算-通信重叠技术和系统层面的流水线编程方式，显著降低了MoE专家间的通信开销。该技术支持业界大部分主流大模型，易于接入现有训练框架，且与DeepSeek的DualPipe方案可联合使用，进一步压缩模型训练成本。