马斯克xAI首个研究成果发布

大模型之家讯 近日,马斯克xAI首个研究成果发布,创始成员、丘成桐弟子杨格为共同一作,该论文延续了他此前的研究——描述神经网络架构的统一编程语言Tensor Programs,重点探讨了“如何训练无限深度网络”。据介绍,Tensor Programs是杨格的一项长期研究目标:用数学语言,建立能够描述和分析神经网络架构的底层编程语言,其相关成果在GPT-4中已有应用。此次发表的论文研究的是残差网络(ResNet)在深度方向的扩展,作者提出了Depth-μP方法,可以实现深度方向上的超参数迁移。
据悉,杨格本科就读于哈佛,师从丘成桐教授。2017年本科毕业后,杨格在沈向洋的引荐下进入微软。今年7月,马斯克宣布成立新公司xAI,杨格离开微软,加入xAI创始团队,成为xAI的数学家。论文的另一位共同一作是来自普林斯顿的Dingli Yu。他本科毕业于清华姚班,目前在普林斯顿计算机科学系攻读博士。

上一篇:

下一篇:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注