AQUA实测智谱AI千亿基座模型ChatGLM-Pro：云端协同部署释放大模型潜力

图片来源：智谱AI官网

成立仅不到五年，获得美团、中科曙光以及多家知名投资机构的青睐，并且旗下大模型产品成为首批通过《生成式人工智能服务管理暂行办法》的企业，智谱AI到底有着怎样的“魔力”？

智谱AI于2019年成立，由清华大学计算机系知识工程实验室的技术成果转化而来。拥有自主研发的超大规模预训练模型、高精度通用知识图谱和数据与知识双轮驱动的认知引擎。360创始人、董事长兼CEO周鸿祎曾表示：智谱AI是国内顶级人工智能科技公司，被评价为国内“最具OpenAI气质和水准”的AI公司。

图片来源：智谱AI官网

同时，智谱AI还提出了全新的Model as a Service(MaaS)的市场理念，打造了认知大模型平台以及数字人和科技情报产品，为各行各业提供智能化解决方案。其核心产品包括GLM大模型、ChatGLM、CodeGeeX、CogView和AMiner等，分别涵盖了语言、对话、代码等多个领域。

图片来源：大模型之家对此，大模型之家将对智谱AI大模型产品ChatGLM-Pro版本依靠《人工智能大模型产业创新价值研究报告》提出的“AQUA”评价体系，从模型能力、任务处理能力、应用生态等六个维度展开多角度全方位的评估。探寻智谱AI的大模型发展理念。

模型能力

据了解ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过有监督微调（Supervised Fine-Tuning）等技术实现人类意图对齐。不同于BERT、GPT-3以及T5的架构，ChatGLM-Pro是一个包含多目标函数的自回归预训练模型。

千亿规模的模型通常意味着更好的性能和更高的语言理解能力，使ChatGLM-Pro捕捉更广泛和复杂的语言模式。代码预训练技术，在自然语言处理任务中具有更好的代码理解和生成能力，对于与编程相关的任务或生成特定领域的文本将起到极大帮助。

图片来源：github官网

同时，采用多目标函数的自回归预训练模型架构，可以帮助ChatGLM-Pro大模型运转更加灵活，能够同时处理多种不同类型的自然语言处理任务，包括生成、分类、翻译等。并且通过有监督微调，ChatGLM-Pro在生成文本时可以更准确地满足用户的需求，提供更具针对性的回应。

图片来源：github官网

除此之外，ChatGLM-Pro的千亿基座GLM-130B可以在高性能服务器上进行推理，包括A100（40G*8）或V100（32G*8）服务器。GLM-130B还支持INT4（四位整数）量化，且几乎没有性能损失。这也意味着GLM-130B还可以在相对较低内存的硬件上有效地进行推理，例如4*RTX 3090（24G）或8*RTX 2080 Ti（11G）GPU。

任务处理能力

在任务处理能力方面，ChatGLM-Pro的回答在多个任务和问题的回答准确性很高。在多个领域和任务中都有潜力得到良好的结果。但大模型之家发现，ChatGLM-Pro在回答问题时普遍过于简单和直接。特别是在面对考察推理能力的问题时，没有显示出完整的推理步骤，在某些应用场景中可能会限制其可解释性和适用性。

在通过转换提问模式后，强制要求ChatGLM-Pro给出问题的相应推理过程后，大模型之家发现ChatGLM-Pro虽然正确的解答了问题，但在逻辑展示上还出现了一些漏洞。

图片来源：智谱AI官网

任务处理能力其限制主要体现在推理和解释方面。强制要求展示推理步骤后所提供的错误回答也代表，ChatGLM-Pro的推理能力还有待增强。此外，无法提供正确的解释，可能影响ChatGLM-Pro在需要深入理解和合理解释的应用中的适用性。

图片来源：智谱AI官网

不过，在同为基于GLM-130B 模型开发的智谱清言（QAGLM）的AI作图功能测试中。AQUA选择分别对ChatGLM-130B的文生图和图生文能力进行了测试。

图片来源：智谱AI官网

可以看到ChatGLM-130B具备自然语言理解和生成能力，能够根据用户输入的文本提示生成质量卓越、语法通顺的文本内容。不过QAGLM目前还不支持对生图格式进行修改，在面对该部分指令时会选择忽略。

图片来源：智谱AI官网

ChatGLM-130B能够从图像输入中提取关键信息，生成与图像内容相关的文本描述，该功能为各种应用场景提供了无限可能性。并且在描述时QAGLM会尽可能细致的阐述图片的内容。从自动图像标注到视觉辅助，该功能使得ChatGLM-130B在处理视觉数据时能够以高效、精确的方式产生有意义的文本输出。

泛化能力

在多语言能力方面，ChatGLM-Pro支持中文和英文双语，在跨语言任务上可以展示强大的泛化能力。能够轻松处理中文和英文等多种语言的文本任务，这不仅包括了简单的翻译功能，更重要的是它能够理解和生成多种语言的文本，保持自然流畅。这也反映了ChatGLM-Pro将不受语言边界的限制，更适用于国际化应用。

在多模态支持领域，ChatGLM-Pro不仅支持文本生成，还具备图文互动生成的功能。随着社交媒体和多媒体内容的普及，多模态任务处理能力变得愈来愈关键。ChatGLM-Pro将图像和文本数据有机结合在社交媒体分析、图像标注、视觉搜索等领域发挥重要作用。

同时，根据图像内容生成相关的文本描述，从而提高用户生成内容的质量。反之，ChatGLM-Pro还可以将文本转化为图像，满足特定场景下的需求。这种多模态支持使ChatGLM-Pro在处理多媒体和视觉任务时具备了出色的泛化能力。

据了解，智谱AI先已与国内多家知名企业、机构联合开发大模型产品。自2023年4月起，美团私有化部署ChatGLM-130B，联合研发“美团GLM”，值得买部署 ChatGLM-130B 私有化实例用于电商平台产品，360基于 ChatGLM-130B 联合研发千亿级大模型“360GLM”、中国民航信息网络公司基于接入 ChatGLM-130B API 开发航旅智能产品、清华研究生会基于 ChatGLM-130B 开发“水木ChatGLM”。

图片来源：网络

大模型之家发现，无论是在商业、航空、电子商务还是其他技术领域，ChatGLM-130B都有成功的应用案例。ChatGLM-130B 都能够适应不同场景的需求，为企业和用户提供高效的自然语言处理解决方案。

开放性指标

值得注意的是，目前ChatGLM-130B现已支持云端和本地私有化部署，用户可以将ChatGLM-130B部署在自己的本地服务器或数据中心上，并根据自身需求进行定制。并且可以根据自己的数据和应用场景对模型进行训练和微调，以确保模型更好地适应特定任务或领域的要求。这种本地私有化定制能够提供更高的数据隐私和安全性，因为数据不必离开用户的本地环境。