Meta公布Llama 3训练集群细节

大模型之家讯 Meta昨晚宣布推出两个24576-GPU数据中心规模集群,将其称作“Meta对AI未来的重大投资”,并公布其GenAI基础设施细节,涉及硬件、网络、存储、设计、性能和软件的详细信息。Meta使用这种集群设计进行Llama 3训练。到2024年底,Meta的目标是继续扩大基础设施建设,包括35万块英伟达H100 GPU,作为其产品组合的一部分,将具有相当于近60万块H100的计算能力。

上一篇:

下一篇:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注