GitHub论文揭露Pangu Pro MoE与Qwen-2.5 14B模型高度相似

大模型之家讯 近日,GitHub上一篇技术论文通过”模型指纹”技术揭示,Pangu Pro MoE与Qwen-2.5 14B模型在注意力参数分布上的相关性高达0.927,远超正常范围。研究显示,该技术通过提取多头注意力机制的Q、K、V、O矩阵标准差,形成指纹序列并计算皮尔逊相关系数,可识别模型继承关系。论文作者推断Pangu Pro MoE可能通过”upcycling”(继续训练+架构调整)修改自Qwen模型,质疑其”自研”声明存在版权侵权风险。尽管Pangu团队否认抄袭指控并称评估方法不科学,但双方在Issue中激烈争执,引发行业对模型原创性与技术溯源的广泛讨论。

上一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注