大模型之家讯 北京深度求索公司推出了首个国产开源的MoE大模型，命名为DeepSeek MoE。该模型的性能媲美Llama 2-7B，但计算量降低了60%。目前，DeepSeek MoE的版本参数为160亿，实际激活参数量大约为28亿。深度求索团队透露，他们正在研发145 B版本的DeepSeek MoE，初步试验显示这一版本在性能上具有极大的领先优势，同时以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。
大模型之家讯 北京深度求索公司推出了首个国产开源的MoE大模型，命名为DeepSeek MoE。该模型的性能媲美Llama 2-7B，但计算量降低了60%。目前，DeepSeek MoE的版本参数为160亿，实际激活参数量大约为28亿。深度求索团队透露，他们正在研发145 B版本的DeepSeek MoE，初步试验显示这一版本在性能上具有极大的领先优势，同时以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。