深言科技与清华大学合作开源语鲸LingoWhale-8B模型

大模型之家讯 近日,由深言科技与清华大学NLP实验室共同研发的语鲸LingoWhale-8B模型已向社会开源。这款拥有约80亿参数的中英双语大语言模型,在多个公开评测基准上达到了领先效果,包括C-Eval、MMLU、CMMLU等。LingoWhale-8B模型是语鲸系列大模型中首个开源的中英双语大语言模型,使用了数万亿token的高质量中英数据进行预训练,具备强大的基础能力。在预训练阶段,该模型使用8K的上下文长度进行训练,使其能够处理更长上下文的理解和生成任务。该模型对学术研究完全开放,开发者可以通过邮件申请并获得官方商用许可后,免费商用。同时,除了开源模型权重,研发团队还提供了符合用户习惯的Huggingface推理接口以及LoRA等参数高效微调示例,以方便开发者快速使用LingoWhale-8B模型。

上一篇:

下一篇:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注