腾讯混元发布Hy3量化版,295B旗舰模型1bit版可单卡本地运行

大模型之家讯 7月14日,腾讯混元团队发布295B参数旗舰模型Hy3的量化版本。1bit极限量化版体积压缩至85.5GB,仅需一张96GB显存显卡即可部署,较BF16原版缩小6.7倍。4bit版本仅需两张推理显卡,性能更贴近满血模型。配合MTP投机解码,量化版解码速度提升约50%至60%,大幅降低了旗舰大模型的本地部署门槛。

上一篇:

下一篇:

发表回复

登录后才能评论