大模型之家讯 近日,Meta宣布正式开源其最新的Llama 3.3多语言大型语言模型(LLM)。作为一款预训练并经过指令调优的生成模型,Llama 3.3凭借其出色的性能和广泛的应用前景,备受AI界的瞩目。
Llama 3.3采用了优化后的Transformer架构,构建了一个自回归语言模型。其调优版本结合了监督微调(SFT)和基于人类反馈的强化学习(RLHF)技术,确保模型在有用性和安全性方面与人类偏好保持一致。这一创新性的设计使得Llama 3.3在常见的行业基准测试中表现优异,超越了众多可用的开源和闭源聊天模型。
在技术规格方面,Llama 3.3的参数量达到了70B,支持多语言文本输入和输出。其训练数据来源于新的公开在线数据混合集,训练tokens超过15T,知识截止日期为2023年12月。这些强大的技术规格为Llama 3.3的广泛应用奠定了坚实基础。
值得一提的是,Llama 3.3支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多种语言,满足了全球不同地区用户的需求。同时,其训练数据集包含了比所支持的8种语言更广泛的语言,为开发者提供了更多的微调空间和潜在应用可能性。
Meta此次开源Llama 3.3,旨在推动AI对话技术的进一步发展和应用。开发者可以在遵守Llama 3.3社区许可和可接受使用政策的前提下,对模型进行微调以支持更多语言和应用场景。这将有助于促进AI技术的普及和创新,为各行各业带来更多的便利和价值。
原创文章,作者:志斌,如若转载,请注明出处:http://damoai.com.cn/archives/8265