蚂蚁开源大模型技术 Lookahead，将推理加速 2-6 倍

大模型之家讯蚂蚁开源大模型技术 Lookahead。Lookahead 是一个推理加速框架，可以大幅提升大模型的推理效率，可将推理加速 2-6 倍。通过采用多分支策略，Lookahead 能够在一次前向过程中生成更多的 Token，进一步压榨硬件性能。