大模型之家讯 6月10日，小红书正式开源其首个大模型——dots.llm1，该模型拥有1420亿参数，采用混合专家架构（MoE），在推理时仅激活140亿参数，大幅降低训练和推理成本。dots.llm1使用11.2万亿非合成数据进行预训练，其在中英文、数学、对齐任务上的性能与阿里巴巴的Qwen3-32b相当。
大模型之家讯 6月10日，小红书正式开源其首个大模型——dots.llm1，该模型拥有1420亿参数，采用混合专家架构（MoE），在推理时仅激活140亿参数，大幅降低训练和推理成本。dots.llm1使用11.2万亿非合成数据进行预训练，其在中英文、数学、对齐任务上的性能与阿里巴巴的Qwen3-32b相当。