首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

AI行业动态11个月前发布 ainavi
7,428 0

AI 画图一秒生成,大语言模型一秒 20 token。

2023 年是生成式 AI 的元年,我们手上的移动设备也在加速进入大模型时代。

11 月 6 日晚,联发科(MediaTek)正式发布了年度旗舰 SoC 天玑 9300,这款芯片通过 4+4 全大核的设计,在性能与能耗等方面,全面超越了安卓和苹果竞品。

更为值得关注的是,今年的旗舰芯片被定义为 5G 生成式 AI 移动芯片,提供了远超以往的高智能、高性能、高能效、低功耗卓越特性。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

天玑 9300 采用台积电新一代 4nm 工艺,拥有 227 亿个晶体管。为了提供生成式 AI 时代的算力需求,天玑 9300 上开创性地使用了「全大核」CPU 架构,包含 4 个 Cortex-X4 超大核,最高频率可达 3.25GHz,以及 4 个主频为 2.0GHz 的 Cortex-A720 大核,其峰值性能相较上一代提升 40%,同性能情况下功耗节省 33%。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

这种架构在保证了工作速度快、效率高的同时具有省电的特性,无论在轻载还是重载应用场景中,都能降低功耗、延长续航时间。联发科表示,天玑 9300 面向目前常用的视频、直播、游戏等常见任务需求进行了优化,相比以往也更加适应折叠屏手机的多任务模式。

随着芯片制程提升,晶体管正在不断小型化,各种漏电问题成为摩尔定律发展的重大障碍。漏电意味着能量消耗的大幅增加,芯片也会面临过热甚至失效的问题。在这种情况下,小核心的功耗与大核心差距已越来越小。

据介绍,早在三年前联发科就开始了全大核芯片形式的探索。现在,让大核快速处理任务后进行较长时间的休眠,我们可以让大核处理器反直觉地相比小核同类产品更加省电。另一方面,联发科也加入了乱序执行(out-of-order)策略,进一步增加了应用执行的效率。首款生成式AI移动芯片天玑9300:能跑330亿参数大模型联发科认为到明年,全大核的设计将成为业内的共识。

常规能力之外,联发科本次着重升级了芯片的 AI 性能。天玑 9300 集成了 MediaTek 第七代 AI 处理器 APU 790,专为生成式 AI 而设计,其性能和能效相较上一代得到显著提升,整数运算和浮点运算的性能是前一代的两倍,功耗降低了 45%。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型APU 790 内置了硬件级的生成式 AI 引擎,可实现更加高速且安全的边缘 AI 计算,相比上代,它专门针对目前大语言模型常用的 Transformer 进行算子加速,大模型的处理速度是上一代的 8 倍。

当代流行的大语言模型(LLM),其主要核心网络架构大多是由 transformer Block 组成的。相较于计算机视觉常见的 CNN 网络,transformer 网络以 Softmax+LayerNorm 算子作为核心,卷积算子较少,因此原先 AI 核心的加速机制并不适用。在第七代 APU 处理器上,联发科着重优化 Softmax+LayerNorm 算子,提升了算力。

量化是目前优化 AI 推理的有效方式之一。基于亿级参数语言模型特性,联发科开发了混合精度 INT4 量化技术,结合其特有的内存硬件压缩技术 NeuroPilot Compression,可以更高效地利用内存带宽,大幅减少 AI 大模型对终端内存的占用。

联发科的工程师表示,虽然大模型可以带来更好的生产力,但本地运行 13B 的体量就意味着需要占用约 13GB 的内存,再加上安卓本身的 4GB,其他 APP 的 6GB,已经超过了大多数手机 16G 的内存容量。天玑 9300 使用的内存硬件压缩技术,通过量化和压缩把大模型的内存占用降低到了 5GB,只有这样才能让大多数用户在日常跑得起大模型应用。

APU 790 还支持生成式 AI 模型端侧「技能扩充」技术 NeuroPilot Fusion,可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)融合,进而赋予基础大模型更加全面的能力。 

基于这样的硬件和优化,天玑 9300 在苏黎世联邦理工提出的 AI Benchmark 最新版本上可以达到 2019 分,是移动芯片的新高。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

使用天玑 9300,端侧的 AI 图片生成如 Stable Diffusion 可以做到一秒以内出图,70 亿参数语言模型的端侧推理可以做到每秒 20token。

联发科表示在与 vivo 的合作中,基于天玑 9300 已经率先实现了 7B 和 13B 大模型在移动端的推理,预计不久之后在终端就可以看到这样的产品推向市场。另外在更极限的情况下,联发科还跑通了高达 33B 的大模型。

在发布之前的沟通会和现场,联发科展示了使用天玑 9300 工程机实现的 LoRA 文生图、大模型生成文字等能力。

我们可以预见,在最新一代旗舰手机上,我们可以用上更聪明的智能助手,根据大模型给出的建议快速回复聊天和右键,用 AI 生成的表情包斗图……

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

马上就会推出且人人都可以体验到的,就是 vivo X100 系列手机上 OriginOS 4 系统里的 AI 助理蓝心小 V。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

本月初,vivo 刚在开发者大会上介绍了蓝心大模型及其应用,这一系列能力显然是面向手机的。在大模型的加持下,蓝心小 V 拥有行业领先的智慧,它可以通过语音、文字、文件拖拽等方式接收信息进行处理。如果遇到简单的问题,小 V 会以文字或图片进行回复。面对复杂的问题,它还可以通过 SWOT 模型或思维导图的形式输出回答。

此外,天玑 9300 的 AI 能力还覆盖从搜索到拍摄。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

联发科表示,其 AI 开发平台 NeuroPilot 已经对安卓、LIama 2、文心一言、百川大模型等前沿主流 AI 大模型进行了深度适配和优化,更多应用也在路上。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

GPU 方面,天玑 9300 采用了 12 核心的 Immortalis-G720。与上代相比峰值性能提升 46%,相同性能下功耗可节省 40%。天玑 9300 搭载 MediaTek 第二代硬件光线追踪引擎,支持 60FPS 高流畅度的光线追踪,并带来游戏主机级的全局光照特效。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

此外,MediaTek 特有的 MAGT 游戏自适应调控技术升级为「星速引擎」,不仅与游戏应用广泛合作,还将拓展更多类型应用的生态合作。在活动中,联发科宣布天玑 9300 平台将首发《仙剑世界》光追版,同时也将在手游《暗区突围》上实现稳定 60 帧光追的体验。

目前根据很多第三方评测,天玑 9300 工程机的 CPU、GPU 绝对性能和功耗比均超过了骁龙 8Gen3 与 A17Pro,看起来使用全大核的策略是成功的。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型                                图片来源:极客湾 Geekerwan

在其他方面,天玑 9300 也进行了全面升级,其 ISP 升级到了 Imagiq 990,支持 AI 语意分割视频引擎、16 层图像语意分割、景深和光斑双引擎、全像素对焦叠加 2 倍无损变焦、OIS 光学防抖专核、3 麦克风高动态录音降噪,可过滤 25km/h 风速的 99% 以上风噪。

天玑 9300 还配备了新的安全启动芯片、隔离的安全计算环境和 Armv9 的内存标记扩展,可帮助开发人员避免内存漏洞利用。

网络方面,天玑 9300 集成了 5G 调制解调器支持 Sub-6GHz 四载波聚合(4CC-CA)和多制式双卡双通,也通过 AI 算法提升信号,支持 5G 情境感知功能。天玑 9300 支持 Wi-Fi 7 和 5G sub-6GHz 频段,下行链路速率达到 7Gbps。在蓝牙连接方面,天玑 9300 支持 3 个蓝牙天线、特有双路蓝牙闪连技术,可以带来超低时延的蓝牙音频体验。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

据介绍,首款采用天玑 9300 芯片的手机包含 vivo、OPPO、小米、传音等。在联发科的发布活动后,vivo 已宣布即将在 11 月 13 日发布的 X100 系列中率先搭载新旗舰芯片,并第一个实现 LPDDR5T-9600 内存的落地。

首款生成式AI移动芯片天玑9300:能跑330亿参数大模型

我们期待新一代产品的问世。

© 版权声明

关注公众号,免费获取chatgpt账号
免费获取chatgpt

相关文章

暂无评论

暂无评论...