MiniMax发布新一代01系列模型,打破Transformer记忆瓶颈

大模型之家讯 MiniMax近日发布并开源了新一代01系列模型,包括基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型通过大规模应用线性注意力机制,打破了Transformer传统架构的记忆瓶颈,能够处理高达400万token的输入。这一输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍,展现了其强大的处理能力。

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注