大模型之家讯 8月21日，蚂蚁百灵宣布将 Ling-3.0-tiny-base 与 Ling-3.0-flash-base 正式开源，除最终 Base checkpoint 外，还将同步开放预训练和中期训练的权重 checkpoint，共计 6 个 checkpoints。官方表示，这些 checkpoints 适合用于持续预训练、领域监督微调、偏好优化、强化学习后训练、蒸馏，以及长上下文和 MoE 系统研究。在训练方法上，蚂蚁百灵在中期训练结束后将传统学习率衰减改写为 checkpoints 加权合并，即 WSM（Warmup-Stable and Merge）。其中，Ling-3.0-tiny-base 总参数 7.9B、激活参数 1.3B，以相比前代约 50% 的总参数量，在大多数评测中取得更高结果。
