LeCun新论文:1.09亿参数胜过720亿大模型

大模型之家讯 10月29日,66岁的Yann LeCun与布朗大学助理教授Randall Balestriero发布37页论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,为跨模态表征对齐给出数学框架。实验显示,1.09亿参数的文本JEPA在表征对齐测试中超过Qwen2.5-72B、Llama-3-70B,参数规模相差约660倍;另一实验仅用2160万样本就达到下一token预测模型9亿样本的水平,样本差约42倍。作者并未否定规模作用,只指出更懂世界未必由参数量单调决定。

上一篇:

下一篇:

发表回复

登录后才能评论