大模型之家讯 12月16日无问芯穹宣布开源全球首个端侧全模态理解模型Megrez-3B-Omni。该模型能够在图片、音频、文本三种模态数据上实现卓越的处理能力，为端侧设备的智能化提供了全新可能。
Megrez-3B-Omni采用了专为手机、平板等端侧设备设计的30亿参数黄金尺寸，主干网络参数规模仅2.3B，在保持高精度的同时，实现了比同精度模型快300%的最大推理速度。这一成就得益于无问芯穹技术团队在模型压缩、推理加速及硬件能耗优化等领域的深厚积累。
在图像理解方面，Megrez-3B-Omni在多个主流测试集上表现出色，能够准确分析图像内容并提取文本信息。文本理解方面，该模型在权威测试集上取得了端上模型最优精度，确立了其在全球文本理解领域的领先地位。此外，Megrez-3B-Omni还支持中文和英文的语音输入，能够处理复杂的多轮对话场景，为用户提供流畅的交互体验。
为了进一步提升用户体验，Megrez-3B-Omni还提供了WebSearch功能，能够智能判断何时需要调用外部工具进行网页搜索，辅助回答用户问题。这一功能不仅提高了模型的实用性，还克服了小模型的知识储备不足问题。
无问芯穹表示，Megrez-3B-Omni只是一个开始，未来将持续迭代Megrez系列，提升自动化水平，让用户通过简单的语音指令即可完成端设备的设置或应用操作。此外，无问芯穹正与多家知名智能设备和终端芯片厂商合作，推动“端模型+端软件+端IP”的端上智能一体化解决方案。
Megrez-3B-Omni的开源不仅是技术上的创新，更是对人工智能未来发展的一次深刻探索。无问芯穹期待与全球开发者共同推动人工智能技术的进步，为人类社会带来更多可能性。
原创文章，作者：王昊达，如若转载，请注明出处：http://damoai.com.cn/archives/8368
