大模型之家讯 12月13日，微软宣布推出其最新语言模型Phi-2，凭借27亿参数的规模，挑战了大型语言模型的性能边界。据微软介绍，通过在模型缩放和训练数据整理方面的创新，Phi-2在复杂的基准测试中展示出可媲美或优于比其大25倍的模型的性能。
Phi-2是一个基于Transformer的模型，它在1.4T的词块上进行了训练，这些词块来源于自然语言处理（NLP）和编码的合成数据集以及网络数据集。在96个A100 GPU上进行训练的过程中，Phi-2耗时14天。值得注意的是，Phi-2作为一个基础模型，并未通过人类反馈强化学习（RLHF）进行调整，也未经过指导性微调。尽管如此，与经过对齐的现有开源模型相比，Phi-2在毒性和偏差方面表现出更好的性能。
在各种综合基准测试中，Phi-2超越了Mistral和Llama-2模型在70亿和130亿参数下的性能。令人瞩目的是，在多步骤推理任务（即编码和数学）上，Phi-2的性能达到了Llama-2-70 B模型的25倍。此外，与最近发布的Google Gemini Nano 2相比，Phi-2的性能不相上下，甚至在某些方面更胜一筹。
这一突破性的成果表明，微软在语言模型领域的研究正取得显著进展。Phi-2的成功发布为自然语言处理和人工智能领域的研究提供了新的思路和方法。微软表示，他们将继续致力于推动语言模型的发展，并期待未来更多创新的突破。
原创文章，作者：志斌，如若转载，请注明出处：http://damoai.com.cn/archives/2449
