蚂蚁百灵开源 Ling-3.1-flash:560B 级模型部署降至 4 卡

大模型之家讯 10月15日,蚂蚁百灵宣布开源 Ling-3.1-flash 模型。该模型总参数约 560B、每 Token 激活约 25B,最高支持 1M 上下文;在 Artificial Analysis 公开评测中智能指数为 41、输出速度约每秒 210 Token。针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB,在 Hopper GPU 配置下服务部署由 8 卡降至 4 卡。在模拟生产请求测试中,8 卡 Hopper 配置下平均首 Token 时间为 604 毫秒,4 卡吞吐测试中达到约 1.36 QPS。模型提供限时 2.5 折优惠:OpenRouter 输入 0.075 美元、输出 0.225 美元/百万 Token,Ling Studio 输入 0.5 元、输出 1.5 元/百万 Token。

上一篇:

下一篇:

发表回复

登录后才能评论