大模型之家讯 7月5日，前 OpenAI 大模型优化研究员 Diogo Almeida 发布博客《Scaling Laws, Honestly》，披露 OpenAI 2020 年提出的 Scaling Law 原始论文存在计算错误。该论文主张固定算力下优先扩大模型参数量，直接影响了 GPT-3 等模型的设计。Almeida 指出，研究对所有规模模型使用固定训练 token 数，导致大模型训练不足，且余弦学习率衰减人为制造了性能饱和假象。DeepMind 研究员 Sander Dieleman 确认，这一 bug 可能导致业界在大量体量过大、训练不足的模型上浪费了海量算力。
