面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

大模型之家讯 10月13日,面壁智能联合 OpenBMB 社区正式发布并开源端侧多模态系列最新模型 MiniCPM-V 4.7。此次更新聚焦端侧能力的“上限突破”与“极致普惠”,同步推出 MiniCPM-V 4.7 35B-A3B 和 MiniCPM-V 4.7 1B 两个版本。其中,35B-A3B 是全球首个可在端侧无损、流畅运行的开源 MoE 多模态大模型,约 3GB 内存即可在 iOS、安卓等系统上流畅运行,将端侧多模态 MoE 效率推向新高度。

面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

在 34 项权威基准测评中,MiniCPM-V 4.7 35B-A3B 于通用视觉(MMBench 91.72、MMStar 80.67)、STEM(MMMU 80.22、MathVista 88、MathVerse 86.45)、OCR 与图表(OCRBench 91.2、CharXiv Reasoning 75.6)及长视频(LongVideoBench 68.9)等核心任务上全面领先同档的 Qwen3.6-35B-A3B,并超越体量更大的 Qwen 27B、Gemma-4 31B。1B 版本则以极少参数量达到同尺寸第一梯队,在通用视觉、OCR、图表推理、多图理解上全面领先 Qwen3.5-0.8B 及更大体量的 LFM2.5-VL。

面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

MiniCPM-V 4.7 35B 完整权重约 65.6 GiB,是主流 16GB 设备全部内存的 4 倍多。为让其真正“装得下、跑得快、能力不打折”,团队在架构与工程上做了多项优化:采用 MoE 架构,每生成一个 token 只调用部分专家,大部分专家存于固态硬盘按需读入;针对逐层读盘瓶颈推出前瞻专家调度方案(LES),提前预测并预取下一层所需专家,多数场景可提前备好逾 80% 所需专家,分析表明开启 LES 后输出与原模型完全一致,在 iPad Pro M4 16GB 实测中生成速度平均提升约 5 倍。同时通过逐层混合精度量化与专家权重连续存储,进一步降低加载的数据量与跳转开销。

面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

此外,模型延续 ViT 内提前压缩及 4 倍 / 16 倍视觉 token 压缩技术,16 倍压缩下 MMBench 90.87、OCRBench 90.4、OmniDocBench 93.25 等关键分数基本不变;输出端适配 DSpark 投机解码,实测任务生成速度平均提升 1.17 倍。团队还推出自回放微调,让模型在学习新能力的同时复习已掌握能力,兼顾通用表现。

面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

综合优化后,MiniCPM-V 4.7 35B-A3B 在 iPad Pro M4 16GB 上生成速度达每秒 17+ token,在 iPhone 17 Pro Max 上达每秒 13+ 个 token 且仅用约 3GB 内存。生态方面,模型已完成与 AMD、Apple、Arm、Intel、NVIDIA 等厂商的 Day-0 级适配,并支持 llama.cpp、Ollama、MLX、vLLM、SGLang 等推理框架及 LLaMA-Factory、SWIFT 等微调框架。目前,MiniCPM-V 4.7 的模型权重、推理代码与微调代码均已开源。

面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行
面壁智能开源 MiniCPM-V 4.7:350 亿参数 MoE 端侧跑通,手机 3GB 内存流畅运行

原创文章,作者:志斌,如若转载,请注明出处:http://damoai.com.cn/archives/19403

赞 (0)
上一篇 2小时前
下一篇 2小时前

相关推荐

发表回复

登录后才能评论