大模型之家讯 近日，Nvidia 推出了一款新的小型语言模型 Nemotron-Nano-9B-v2，这款模型在多个基准测试中表现优异，并且用户可以灵活控制其推理功能的开关。Nemotron-Nano-9B-v2的参数量为90亿，相较于其前身的120亿参数有了显著减小，旨在适应单个 Nvidia A10GPU 的部署需求。在推理功能上，Nemotron-Nano-9B-v2可以默认生成推理过程的跟踪记录，用户也可以通过简单的控制指令，如 /think 或 /no_think，来切换这一功能。此外，模型引入了运行时 “思考预算” 管理，允许开发者设定推理所用的最大 token 数量，以便在准确性和响应速度之间取得平衡。在基准测试中，Nemotron-Nano-9B-v2展现了良好的准确性。例如，在使用 NeMo-Skills 套件的 “推理开启” 模式下，该模型在多个测试中均表现出色，显示出与其他小型开源模型相比的优势。
