大模型之家讯 7月14日,腾讯混元团队发布295B参数旗舰模型Hy3的量化版本。1bit极限量化版体积压缩至85.5GB,仅需一张96GB显存显卡即可部署,较BF16原版缩小6.7倍。4bit版本仅需两张推理显卡,性能更贴近满血模型。配合MTP投机解码,量化版解码速度提升约50%至60%,大幅降低了旗舰大模型的本地部署门槛。
大模型之家讯 7月14日,腾讯混元团队发布295B参数旗舰模型Hy3的量化版本。1bit极限量化版体积压缩至85.5GB,仅需一张96GB显存显卡即可部署,较BF16原版缩小6.7倍。4bit版本仅需两张推理显卡,性能更贴近满血模型。配合MTP投机解码,量化版解码速度提升约50%至60%,大幅降低了旗舰大模型的本地部署门槛。