将大模型训练效率提升10倍,阿里云斩获“算力中国”年度突破成果

大模型之家8月21日讯 日前,由工业和信息化部、宁夏回族自治区人民政府共同举办的2023中国算力大会在银川举行。会上公布了算力领域最具影响力专家学者共同评选出的算力中国·年度突破成果,阿里云“PAI灵骏智算服务”作为国内AI智算基础设施代表获评此项重要荣誉。

将大模型训练效率提升10倍,阿里云斩获“算力中国”年度突破成果

该评选为攻坚算力领域中的热点、难点和关键问题设立,秉承“开创性、引领性、权威性、公平性”原则,旨在发掘在算力或相关产业达到全球领先水平的基础理论、创新方法、方法模式和平台应用的创新成果。评审委员会由中国科学院院士、中国工程院院士、知名高校及科研机构专家、领军企业技术带头人组成,集聚中国算力相关领域最具影响力的专家学者。

“PAI灵骏智算服务”是阿里云面向高速增长的AI计算需求打造的算力基础设施服务,可一站式为企业及开发者提供AI开发全流程的工程平台和智能算力。它具有超大并行计算规模、高性能、高效率、高利用率等特点,具备高达10万卡量级的集群可扩展规模,能支撑多个万亿参数大模型同时训练,其中单训练任务可达万卡规模,千卡规模的线性扩展效率达92%。

在此前实践锤炼中,PAI灵骏智算服务稳定支撑了10万亿参数多模态大模型的低能耗训练,在通义千问等大模型的训练和应用中,将大模型训练效率显著提高近 10 倍,推理效率提升2倍以上。

该评选认为,阿里云PAI灵骏智算服务“以高性能网络、高性能文件存储、高稳定性、极致软硬件联合优化能力和serverless化服务能力,为大模型研究、AI for Science、AIGC等场景提供坚实支撑”。

PAI灵骏智算服务在多个核心技术领域具备领先性和创新性。动辄上千亿参数的大模型训练,并非靠简单“堆显卡”就能完成,而是囊括底层算力、网络、存储、数据计算、AI框架等复杂技术的系统性工程。除了要通过精巧的设计实现超大计算工程落地外,还要做到“又快又省”,“榨干每一滴算力性能”。

在IaaS基础设施层,阿里云打造了智能计算集群灵骏,通过端网一体、软硬融合的可预期网络技术对集群计算资源进行统筹和优化,实现芯片间微秒级稳定互联和高效并行计算。相关技术创新大幅消除了AI算力拓展性瓶颈,灵骏集群规模最大可拓展至“10万卡级”,能为大模型的开发和应用提供灵活多尺度的智能算力,对上层平台应用提供便捷的容器化服务。

将大模型训练效率提升10倍,阿里云斩获“算力中国”年度突破成果

在PaaS平台服务层,阿里云机器学习平台PAI可对庞大训练任务进行自动分拆和分配,通过硬件、网络、框架一体化协同调度能力,提供速度最快、算力最省的高性能分布式训练方案。同时,PAI配置了自动容错训练框架AIMaster,在大语言模型动辄数周、数月的训练周期中,提供极致的稳定性保障,减少人工介入成本,可将大模型训练时间缩短10倍。此外,PAI提供简单易用的RLHF强化学习框架,能大幅提升大语言模型效果表现。

将大模型训练效率提升10倍,阿里云斩获“算力中国”年度突破成果

PAI灵骏智算服务还推出了国内首个serverless化智算服务模式,提供一键开通、按需分配、极简运维的用户体验,支持AI计算资源灵活复用,可大幅提升集群利用率,降低客户的使用成本。

据了解,阿里云PAI灵骏智算服务已被众多企业及科研单位应用。阿里云与小鹏汽车合建的智算中心“扶摇”成为国内最大的自动驾驶智算中心,将小鹏汽车自动驾驶模型训练速度提升170倍以上。阿里云与复旦大学共同打造的云上智算平台CFFF,近期发布了45亿参数量的中短期天气预报大模型,将预测速度从原来的小时级缩短到了3秒内。

原创文章,作者:志斌,如若转载,请注明出处:http://damoai.com.cn/archives/259

(0)
上一篇 2023年8月21日 上午11:42
下一篇 2023年8月21日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注