国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

AI行业动态8个月前发布 ainavi
9,104 0

中国大模型公司,正在进入竞争的新阶段。

仅用六个月时间,国内 AI 创业公司就已经把大语言模型发展到了第三代。

10 月 27 日,中国计算机大会 CNCC2023 上,智谱 AI 发布了自研第三代对话大模型 ChatGLM3。这是继 6 月 25 日发布 ChatGLM2 后,智谱 AI 对话大模型的又一次重大升级。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

                               智谱 AI CEO 张鹏在活动中进行了演讲。

「ChatGLM3 融入了我们的一系列最新研究成果,实现了包括跨模态、Agent 等一系列全新能力,」智谱 AI CEO 张鹏表示。「现在,智谱清言就像打通了任督二脉,不再是个只能根据你的指令生成文本的助手,而是已经成为了『百晓生』,可以根据真实的、实时的信息帮你做更多事。」

昨天的发布现场,智谱 AI 进行了一系列 ChatGLM3 的能力展示。

这一次,ChatGLM 系列大模型首次加入了代码识别模块 Code Interpreter,能够根据用户需求生成代码完成数据分析、文件处理等复杂任务。比如下达指令让它构建一个函数图像,ChatGLM3 可以生成代码并自动执行:

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

输入一个 Excel 文件和指令,ChatGLM3 可以进行分析,输出 Python 代码,生成图表。如果你更改需求,大模型也能进一步实现。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

这就让智谱清言成为了国内首个具备代码交互能力的大模型产品。

多模态是当前大模型研究与应用最为火热的方向。ChatGLM3 加入了多模态理解能力组件 CogVLM,实现了看图识语义和跨模态对话能力。

上传本次发布会的 PPT 截图让 AI 分析,其中的时间戳和文字内容都被分析了出来:

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

上传一些食材的图片,它就可以向你推荐食谱,并可以进一步根据你的口味调整要做的菜:

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

另外,ChatGLM3 也加入了 WebGLM 能力,使得模型获得了网络搜索的增强,可以实时获得互联网上最新信息,总结成有价值的内容输出给用户:

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

如上所示,这些答案也附有引用内容的文章链接。

昨天发布的新能力都已在智谱清言的网页端上线,APP 端也具备了网络搜索增强和多模态理解能力,没有内测环节,直接使用。

体量不变,性能全面提升:ChatGLM3 技术细节

作为赋能生成式 AI 助手智谱清言的自研第三代基座模型,ChatGLM3 的背后经历了哪些进化?

据张鹏介绍,此次 ChatGLM3 瞄准 GPT-4V 进行技术升级,在多模态理解、代码生成、网络搜索以及语义和逻辑推理能力都得到了显著增强。上文的演示让我们直观体验到了 ChatGLM3 在这些领域的「脱胎换骨」。

首先来看模型基础性能。智谱 AI 基于 ChatGLM 系列模型的开发经验,全面升级了 ChatGLM3-6B 的基座模型,在语义推理能力上有大幅度的升级。用数据来说话,ChatGLM3-6B 在 44 个中英文公开数据集性能测评中里面排到了国内第一名。

与自家的二代模型相比,ChatGLM3-6B 在 MMLU(跨语言)、CEval(中文多学科)、GSM8K(数理推理)、BBH(复杂推理)等流行基准测试中均有明显提升,GSM8K 提升高达 179%。这样的性能提升,让 ChatGLM 在 6B 尺寸开源模型中具有极强竞争力。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

张鹏表示,新模型性能的提升得益于多阶段优化的模型训练策略,以及更优的数据和训练方法。这就让模型在体量不变的情况下,能力有了大幅进步。

如今的生成式 AI 模型都更加强调面向实际应用,ChatGLM3 也提升了推理效率。整体而言,得益于高效动态推理和显存优化技术的应用,ChatGLM3 的推理速度相较二代提升了 4 倍,相较目前最佳开源竞品 vLLM 提升 2 到 3 倍。

在大量的实践中发现,ChatGLM3 在不同并发下的 token 生成速度比 vLLM、TGI 推理方案快了一大截,并且并发越多提升越明显。同样地,不同并发下的首响延迟也大大降低。这些也是保证智谱清言较快生成速度的重要原因。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

对于近来 AI 圈同样火热的智能体(Agent)技术,ChatGLM3 系列模型也凭借技术创新具备了更强大的智能体能力。

ChatGLM3 使用全新的算法,并集成了自研的 AgentTuning 技术,最大化激活大模型自身的智能体能力,在智能规划和执行方面相较二代模型提升了 10 倍。

张鹏表示,ChatGLM3 开启了国产大模型在智能体能力层面的飞速提升,其原生支持 Agent 进行工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景的操作。

在清华等机构推出的 AI Agent 大模型基准测试平台 AgentBench 上的最新结果显示,ChatGLM3-trubo 的智能体能力基本持平 GPT-3.5 甚至比它略有优势,不过仍与 GPT-4 存在差距。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

现如今大模型在其开发和部署中都极其关注国产化芯片的适配能力,ChatGLM 系列模型亦是如此。

智谱 AI 表示,ChatGLM 系列当前已经支持了超过十种国产芯片,包括有昇腾、神威超算、海光 DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。以华为昇腾生态为例,ChatGLM3 在其平台上的推理速度已经提升了多达 3 倍。

此外,为了满足更丰富的应用场景,ChatGLM3 也针对边缘侧部署带来了更多尺寸的模型,可面向笔记本电脑、智能汽车甚至手机,在移动平台上用 CPU 进行推理,速度就能达到 20 token/s。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

可以看到,ChatGLM3-1.5B 的模型性能已经接近于 ChatGLM2 代 6B 模型,新一代模型性能提升非常明显。

可以预见,未来 ChatGLM 系列模型将迎来更多样化的应用场景。

全线产品对标 OpenAI,而且更开放

在生成式 AI 领域,我们如今已经看过太多号称能力强大的模型,但在技术的大规模应用阶段,更加难能可贵的是「全面」。ChatGLM 3 系列模型的发布是智谱 AI 的一个关键节点:在新发布过后,该公司已成为目前国内唯一一个有对标 Open AI 全模型产品线的大模型创业公司:

在发布会上,张鹏表示:「对标 OpenAI 是智谱 AI 在成立时写在我们愿景里的话,也是一直努力的目标。目前从对话大模型、代码生成模型到多模态大模型,我们的全线产品与 OpenAI 的产品已经做到了对标。」

具体来说:

  • 在对话模型上,对标 ChatGPT 的是 ChatGLM

  • 在文生图方面,对标 DALL.E 的是 CogView

  • 代码生成上,与 Codex 相对的是 CodeGeeX

  • 搜索增强上,与 WebGPT 相对的是 WebGLM

  • 另外,在多模态、图文理解领域,与 GPT-4V 对标的有 ChatGLM3

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

能够做到全线赶上,除了紧跟先进技术动向,更多应该归功于智谱 AI 长期坚持的技术研发路线。

智谱 AI 是一家从清华大学实验室里走来的明星 AI 创业公司,成立于 2019 年 6 月。就在上周五,智谱 AI 宣布今年已累计获得超过 25 亿人民币的融资。据了解,现在这家公司的估值已达到 140 亿元,是国内估值最高的大模型创业公司。

智谱 AI 走出了属于自己的大模型框架道路:今天能够横扫各大评测基准的 ChatGLM,源自该公司在 2020 年底开始研发的 GLM(通用语言模型)预训练架构。它是一个自回归填空模型,结合了 GPT 和 BERT 的优势,不仅能从前文预测后文,也能从后文猜前文内容,其理论训练效率比 GPT 更高,也能理解更复杂的场景。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

坚持走完全自研的道路,让智谱 AI 在生成式 AI 赛道上逐步构建起优势, 通过自建的训练平台,这家创业公司也拥有了从零开始搭建平台和运维平台的能力。

今年 3 月,智谱 AI 推出了千亿基座的对话模型 ChatGLM,并开源了单卡版模型 ChatGLM-6B,使得研究者和个人开发者进行微调和部署成为可能。

ChatGLM-6B 具有 62 亿参数,结合模型量化技术,可基于消费级显卡进行本地部署(最低只需 6GB 显存)。ChatGLM-6B 系列模型目前已经获得了超过 1000 万的下载量,GitHub 的 Star 量也超过了 5 万。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

                                除了 ChatGLM-6B,ChatGLM2-6B 也有 1.4 的万 Star 量。

今年 6 月,ChatGLM2 正式发布,千亿级基座对话模型经历了全系升级,提供多种模型体量,适用于多种场景。在细分领域上,智谱 AI 的团队也打造了 AIGC 模型及产品矩阵,包括生成式 AI 提效助手智谱清言、高效率代码模型 CodeGeeX 等。

面向开源生态的贡献还在继续。昨天的发布会上,智谱 AI 表示,为了进一步推动开源生态,还将把包括 ChatGLM3-6B、ChatGLM3-6B-32K、CogVLM-17B 和 AgentLM 在内的多个模型开源。

国内唯一全面对标OpenAI的创业公司,大模型已经出到第三代

其中,ChatGLM-6B 开放了支持 32K 长文本的版本,可以支撑更多文档应用场景。

在智谱 AI 的平台上,企业可以基于自身的私有数据,利用性能领先的基座模型快速构建生成式 AI 应用。在本次 ChatGLM3 升级之后,面向企业用户的大模型 API 也被统一为 ChatGLM Turbo,并降价 50%,做到了业内最便宜的价格。

站上更高起点

智谱 AI 的全面对标,赶上了生成式 AI 逐步实用化的节奏。

大模型技术落地的速度,比我们想象得要快:本周三微软公布的财报显示,凭借其人工智能产品的实力,Azure 业务的增长达 29%。目前,使用 Azure OpenAI 服务公司和机构已经超过 1.8 万。不遗余力支持 OpenAI 搞大模型的策略,已经让微软开始有了收获。

当然,这还只是生成式 AI 马拉松比赛的前 100 米。

未来,生成式 AI 的业务模式,甚至大模型底层架构的发展路线,都有可能继续发生变化。而在这场漫长的竞争过程中,谁拥有更聪明的模型,更完善的技术平台,谁才更有机会跑到终点。

从如今智谱 AI 的布局来看,它已经为比拼耐力做好了准备。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...