大模型之家讯 具身模型企业已经不满足于发布模型本身，不满足于对现成技术框架的调用，开始向着更底层的大模型训练基础设施进发了。这对具身模型企业的模型工程化落地，对具身智能行业整体提升训练模型的效率，对中国具身企业竞逐全球技术影响力，都迈出了意义非凡的一步。
近日，自变量机器人发布用于模型训练的 DMuon 优化器，这是对 Muon 神经网络优化器的分布式改造，能消除将 Muon 优化器应用于分布式训练时额外引入的系统开支，将训练具身模型的效率提速约 30%。
不仅如此，DMuon 与 Muon 的使用方式完全兼容，只需3行代码就可引入模型训练，有望成为具身模型训练时的新的"默认选项"，成为整个具身智能行业的一块技术"基石"。
训练模型的行业难题，鲜有具身企业能插手
简单来说，神经网络优化器是大模型训练时的"指挥官"，会告诉模型往哪个方向调整模型权重，以及调整权重的步长等。
在近两年，由于 Muon 优化器在训练模型时计算收敛更快、所需计算步数更少，逐渐取代了原本大规模使用的 AdamW，应用在 Kimi-K2 和 DeepSeek-V4 等模型的训练中。为 Muon 优化器作出技术贡献的，也是 OpenAI、Kimi、DeepSeek 等这些知名的大语言模型企业。
但由于大模型训练开销巨大，往往需要利用 GPU 集群分布式训练。这时 Muon 就会出现"水土不服"：其最核心的计算步骤 N–S 迭代，需要知道完整的权重矩阵才能计算，使得每个 GPU 都需要重复计算、拼装出完整的矩阵，还需要频繁地互相通信。
相比之下，AdamW 仅仅"逐元素更新"，不需要看到矩阵全貌，反而不受到分布式训练的影响。这使得 Muon 虽然计算收敛更快、所需计算步数更少，但每一步训练的耗时却比 AdamW 更多，达到了其 2.2 倍之多。
一进一出中，Muon 的优势被额外计算和通信所消耗。在生产级别的分布式训练中，是使用 Muon 还是 AdamW 更划算，尚且需要企业自己权衡抉择。
对于具身模型训练来说，这种额外开销的影响尤甚。因为具身模型的时序上下文更短，前向-反向传播的计算占比更小，额外引入的计算和通信占比更大，对训练效率的拖累也更严重。这成为具身模型训练提效要解决的首要难题。但一直以来，鲜有国内具身模型企业具备足够的技术能力，对底层的大模型训练基础设施进行改造。
自变量三招"驯服" Muon，额外开销从 120% 骤降到 2%
自变量机器人作为国内技术最领先的具身模型企业，主动扛起技术开拓的旗帜，提出了自己的解法：
此次发布的 DMuon，将 Muon 进行分布式改造，每步训练时间从 AdamW 的 2.2 倍骤降到 1.02 倍，几乎完全消除了额外的计算和通信影响。
这让 Muon 从"理论上很美、生产上很贵"，变成一个模型训练时可以默认启用的选项。自变量还将 DMuon 完全开源，只需 3 行代码就能引入，并且与 Muon 的训练框架完全兼容，真正做到了"即开即用"，零成本让整个行业受益。
简单来说，DMuon 提出了三项改进方法：
首先是 Owner 中心执行与通信优化。过去每个 GPU 都需要重复计算完整的梯度和 N–S 迭代，造成很大的计算浪费。DMuon 则指定唯一的 Owner 负责计算，再将计算结果分发给其他 GPU。不仅如此，DMuon 还将这些通信"插空"放在计算的空档里，避免突发大量通信引发"拥堵"。
其次是针对每种不同形状的矩阵"自动"进行优化。由于不同矩阵的"形状"差异很大，适合它们的计算方式和底层内核也各不相同。DMuon 不仅会针对性地优化计算，还会"批量"生成大量内核，遇到新形状的矩阵就测试哪种内核效果最好，以后遇到同样形状的矩阵可以用相同内核应对。
第三是均衡地分配不同 Owner 的工作量。由于不同矩阵的计算耗时差别很大，为避免有的 GPU 满载、有的 GPU 空闲，DMuon 会针对每种矩阵形状分别跑一遍完整的计算，记录下真实的耗时，然后最小化"跑得最慢"的矩阵耗时，来提升整体的计算效率。
从"打造模型产品"到"建设生产线"，自变量扛起具身模型技术旗帜
这些优化让 DMuon 擅长应对分布式计算，通过一系列优化提升训练效率。整体计算下来，自变量发现，相比未优化的 Muon，DMuon 能将具身模型分布式训练的效率提升 30%，真正成为训练大模型的"利器"。
在 DMuon 本身的技术提效以外，这背后反映出的具身模型企业的技术崛起，以及代表的具身行业的转变，同样值得行业关注。
由于具身模型比大语言模型起步更晚，企业技术实力普遍不及大语言模型企业深厚。在过去几年里，具身模型公司大多调用"前辈们"开发好的现成技术框架，鲜有向底层基础设施这一"技术珠峰"攀登突破。能以现成技术工具训练出好的模型、在榜单评测中争先，就是大部分具身模型公司的目标。
但具身模型的训练不是一蹴而就，需要多个版本持续迭代和积累。如果将具身模型比作"产品"，那么建设"生产线"同样重要，是能改变整个行业训练模型效率的大事。
DMuon 的发布，恰恰证明自变量这样技术领先的具身模型公司，开始走出训练模型的"手工作业"阶段，将资源投向具身模型的"工程化"生产提效。如果将训练大模型比作生产汽车，那么自变量就在做生产流水线的技术改造，着眼于训练模型的长期效率，而不只是关注一个版本的模型本身。
更重要的是，此前 Kimi 等公司对 Muon 的技术贡献获得了业界认可。但在全球范围，还没有一家具身模型公司能做到类似的成果。自变量不仅将 DMuon 分布式改造，还将技术开源打包，让模型开发者只需 3 行代码就能快速引入生产。这帮助具身智能整个行业都能训得更快、跑得更远，成为向国内乃至全球技术社区的一次馈赠。
放眼未来，具身模型因其应用于物理世界的独特性，正在成为与大语言模型平行的新的一极。具身模型企业也终将扛起技术旗帜，从技术"跟随者"转变为"开创者"，去引领技术风向。自变量此次发布 DMuon，恰是这种具身智能行业技术崛起的一座里程碑。
原创文章，作者：志斌，如若转载，请注明出处：http://damoai.com.cn/archives/17062
