AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

AI行业动态8个月前发布 ainavi
4,168 0

自研系统加大模型,新一代手机的标配?

自 ChatGPT 问世已来,我们正在见证新的技术革命,手机厂商更是纷纷高调宣称正在部署大模型,生成式 AI 的竞争已经跨过前期积累,进入到了技术应用的新阶段。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

11 月 16 日,OPPO 开发者大会 ODC 2023 上,大模型加持的 ColorOS 14 正式亮相。

为了让生成式 AI 融入人们的日常生活,OPPO 将 AndesGPT 与自研智慧跨端系统「潘塔纳尔」实现了深度协同,也让我们看到了手机厂商对大模型的思考

自研潘塔纳尔系统加大模型

不一样的智慧融合

据介绍,OPPO 早已在去年 ODC 发布了自研智慧跨端系统潘塔纳尔,作为 ColorOS 的一部分,诚如包罗万象的潘塔纳尔湿地一样,成为万物互融的底座。在一年的时间里,潘塔纳尔系统实现全面商用,通过泛在服务和智慧跨端这两项体验的革新,让 ColorOS 打通了人、设备、系统和服务的关系。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

借助融合计算的能力,潘塔纳尔作为「中间件」系统给 ColorOS 带来「智慧跨端」,也让 ColorOS 的生态越走越开放,不仅实现自有体系手机、平板等设备互融,也打通了注入苹果、大疆 OSMO 等不同设备系统的连接。

基于潘塔纳尔系统,ColorOS 带来了「泛在服务」,能够根据地点、时间、事件、习惯,在通勤、外卖、差旅等高频场景上带来各种高效的智慧服务。比如车票、机票的提醒消息,有了潘塔纳尔,在手机和手表上通知会以卡片形式展示,耳机上则是以语音播报的形式展示,提醒及时又不过分打扰人。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

在这背后,就需要手机等设备对于用户和大量信息进行分析,实现准确的「意图理解」。

如果说去年发布的潘塔纳尔系统是 OPPO 打破终端设备的头阵,一年沉淀后 OPPO 首发的安第斯大模型(AndesGPT),则让两者深度协同后实现进化,使潘塔纳尔系统情境感知能力大幅提升,可以更深入地识别用户需求。据介绍,潘塔纳尔系统通过低功耗感知等一系列技术优化,情境感知准确率提升了 3-10%,及时性提升 30%,同时功耗降低 20%,地理围栏学习周期也大幅缩短。

潘塔纳尔与 AndesGPT 的深度协同下,情境感知能力为意图理解提供了更多元的判断依据。现在,系统围绕专属服务和效率提升被解构为一个个服务,会根据用户意图主动提醒与推荐。

由于新服务包含的内容数量太多了,OPPO 对泛在服务交互进行了升级,把不同三方应用服务、系统服务,以及多种交互形式(胶囊、浮层、闪回窗等)整合成「流体云」。它可以按照不同服务的信息内容和优先级,以统一的形态进行有序呈现,做到交互归一,自然有序。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

而在有序的跨端推送背后,潘塔纳尔系统的全新自适应交互框架是默默支撑这一切的关键点。

除了全新自适应交互框架,潘塔纳尔系统对开发者提供了更多支持。通过数据协同和投屏等多种方式,自适应交互框架也支持第三方应用智能选择合适设备、触点以及交互形式,实现服务跨端流转。

未来,我们可以期待所有常见的 APP 都被潘塔纳尔连接在一起。它覆盖身边的所有设备,与我们交互的方式则是由 AI 大模型驱动,以自然且个性化的方式进行。

潘塔纳尔的升级,把生成式 AI 与多样化的服务,以智能设备为载体与我们有机地连接在了一起。

OPPO 大模型 AndesGPT

主打端云一体

把大模型装入手机,是最近各家大厂一致的尝试方向。不过要想跟上这一波 AI 浪潮,就必须拿得出过硬的技术,打造出更适合移动终端的大模型体系。 

ColorOS 14 上首发的安第斯大模型(AndesGPT)是 OPPO 自主训练的对话大模型,在本月初刚刚亮相。它覆盖从十亿至千亿以上的多种不同参数规模,专攻知识、记忆增强,提供创作与工具能力,同时可以进行支持端云协同的全场景智能调度。

OPPO 介绍,AndesGPT 是目前行业最优的大模型端侧部署方案,具备三大特点:对话增强、个性专属、端云协同

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

要想构建一个善于对话的预训练大语言模型参数量必须要足够「大」,然而这也意味着巨大的内存占用 —— 即使是优化后的 LLaMA 13B 也需要 10G 以上内存,再加上安卓本身的 4GB,其他 APP 的 6GB,就超过了大多数手机 16G 的内存容量。

为此,AndesGPT 在端侧对推理引擎进行算子融合与优化,通过与高通、联发科技的合作,在业内率先采用了 4 位量化技术。优化之后的 AndesGPT 在手机上可以基于同一个模型采用两个优化方案共同计算,第一个字显示在屏幕上的速度快了 42 倍。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

解决完能否跑得通的问题,接下来就要看是否能算得好:AndesGPT 在行业首次做到了端侧内容输入上限达到 4K,在 30 亿参数规模上单次最大可接收 4096 tokens,70 亿可接收 2048 tokens。在文本摘要等任务上,它可以让手机一次理解更多的信息。

AndesGPT 也完成了视觉大模型的部署,实现了图片生成时间上的行业领先:文生图单张图 5.5 秒,图生图 6.6 秒,支持了闪速抠图,智能消除等应用。

ColorOS 14 的闪速抠图可以轻松提取图片中的多个主体,帮助用户快速采集到图像素材。不同于传统的「抠图」技术,往往主要针对单个主体,或轮廓比较清晰的主体,而对于人物精细的头发,或背景较复杂时的抠图处理,往往出现被「抠」图像有毛刺或灰边,甚至抠出的主体缺「头」少「胳膊」,图片直接崩坏。

ColorOS 基于大模型算法支持,进行了专门的边缘细化,可以做到毫秒级响应,抠图精细程度不仅达到发丝级,且支持最多 6 个主体单独提取。(* 人,动物,建筑,车等主体都可以抠出)

闪速抠图剪好的内容可以直接加入文件中转站,在多设备上使用:

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

基于大模型技术,ColorOS 14 的智能消除功能还能像魔法一样轻松抹掉图片中的路人、杂物。对比传统修复模型(CNN-GAN)采用的消除算法,智能消除基于生成式大模型技术,投入千万级生活场景真实图像打造,可以做到对用户消除对象进行精准定位和预测,实现细节和纹理的真实填补。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

在背景复杂充满各类线条感(如背靠栏杆等)、消除内容面积大(1/3 画幅)以及抹除内容与拍摄主体有交叉等场景中,智能消除几乎做到完美的抹除,背景细节依然清晰。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

大模型还需要能够引用正确的知识,并且记得你曾经说过的话。在云侧,AndesGPT 通过融合知识库知识图谱及通用搜索,实现了更专业的问答。同时通过引入长时记忆与实时记忆机制结合,能够实时更新对用户的理解,你上一次与小布助手说过的话,在下次交互时不用再复述一遍。

基于 OPPO 自主训练的 AndesGPT,升级后的小布助手具备 AI 大模型能力,可以实现更流畅、更自然的对话,也支持自然语言指令调用手机设置。

凭借专业知识、逻辑推理与记忆等大模型基础能力优化,AndesGPT 能够快速根据用户对话解决问题,支持各种文生图与图生图任务。小布智能体甚至还可以提供涵盖短视频脚本、策划案生成、要点总结、小红书文案等内容生成能力。

除了生成式 AI 领域常见的文本和图形能力,OPPO 的大模型还会一些别人不会的:AndesGPT 支持包括歌词、旋律、编曲、音色等元素的全流程音乐生成,可以通过主题、风格、元素等提示生成歌词,或通过提示精确控制歌词的具体形式。这方面的功能也将逐步落地。

未来你如果想发一条朋友圈,不仅能用 AI 写文案,配上图片,还能再加上专属的 BGM。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

为了让 AndesGPT 能做到这一切,OPPO 充分利用了端侧和云侧算力。AndesGPT 不仅包含端侧与云侧的大模型,还能以端云分工、端云协作方式等,实现全场景的智能调度。

在实际工作中,AndesGPT 会根据任务需求和模型能力不同智能调用不同模型,比如联系人查询等简单任务用小模型在端侧快速响应,知识 / 信息查询等复杂任务采用云端大模型准确回答;在长文摘要或文案创作时,端侧模型可以提供微调数据完善云侧模型,云侧模型也能辅助提升端侧模型性能。这样做兼顾了推理成本和用户体验。

端云协同还有保护隐私安全的优势。AndesGPT 在工作过程中采用隐私相关的计算放在端侧、隐私无关的计算放在云侧的方式,让人们在保证隐私安全的前提下获得了个性化体验。

说到这里,要想利用好生成式 AI 能力,我们需要让大模型能自主地理解、规划,具备执行复杂任务的能力,毕竟写大模型的提示词也是比较复杂的事。

这就需要用到最近大模型领域里很火的智能体(Agent)技术。

作为 OPPO 自主训练的个性化专属大模型,AndesGPT 就可以做到让 AI「帮你提问」,自动整合功能与请求,完成复杂任务。ColorOS 14 上,用户的一句话会经由手机的端侧模型进行理解形成提示词,再输出给云端模型解决问题,这样的端云融合,实现了新版小布「超级助理」的多种功能,仅手机的设置功能就覆盖了近 400 项。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

而在手机最基本的通话过程中,AI 也集成了转录功能,能通过大模型能力自动提炼关键信息,帮你自动总结出摘要。

AndesGPT加潘塔纳尔:生成式AI端侧落地,OPPO给了我们答案

从潘塔纳尔到 AndesGPT,OPPO 为我们展开了一幅生成式 AI 未来全景图从小到大的用户场景逐步迭代。十岁的 ColorOS,再次让我们刮目相看。

结语

能做到化繁为简,重塑用机体验的 OPPO ,其实只是在坚持一个简单的初心:让生成式 AI 成为真正帮人解决问题的工具,而不是只能用来炫技的额外技能。与系统应用充分结合,面向高频场景是 ColorOS 14 新能力的共性。

OPPO 在生成式 AI 落地上的努力还在继续。据 OPPO 内部透露,AndesGPT 的 13B 大模型在端侧已经跑通,智能消除、通话摘要、多模态搜图等能力也将会支持端侧化,实现快速响应。

可以预见,随着潘塔纳尔生态的铺开,AndesGPT 技术的进步,ColorOS 也将继续探索,推出更多与移动终端结合的大模型体验。

端侧化 AI 落地会给用户带来什么体验,我们已逐渐有了答案。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...