ballbet贝博·艾弗森官网

Arm SME2 加持下端侧AI开发者可以重新信任CPU了ballbet贝博·(中国)艾弗森官网
栏目:ballbet贝博艾弗森官网 发布时间:2025-09-20 09:29:57

  继云端AI之后,以本地化计算为核心驱动力的端侧AI正加速迈入深水区,成为当下炙手可热的趋势和焦点。一个事实是,AI 正从云端真正走到用户身边,赋能手机、PC、汽车与 IoT 等海量设备,形成一个规模远超云端的新市场。但在此起彼伏的喧嚣背后,开发者们仍需面对算力、兼容性和生态碎片化等诸多难题,这些瓶颈和挑战在相当程度上制约着端侧 AI 的落地和规模化应用。

  以算力来看,端侧设备受限于能耗、芯片面积和散热性能,通常无法承载大模型或高复杂度任务在高帧率和低延迟下运行。而由芯片架构、软件环境和工具链的极度多样化引发的碎片化问题,则导致了开发者需要为不同的设备投入巨大的适配和优化工作,成本高移植难,难以实现一次开发,处处部署的理想状态。同时,软件生态支持不足,开发者难以知道瓶颈在哪里,如何调优。

  于 9 月 10 日启幕的 Arm Unlocked上海上,Arm协同合作伙伴vivo所展示的基于 SME2 指令集的端侧AI解决方案VCAP,或许可以成为攻克这层坚冰的重要范例和指引。

  VCAP是vivo自研的全能力、高性能、跨平台的移动端AI计算加速平台,它的一个显著特征就是全面支持 SME2 指令集,这意味着VCAP能在支持该技术的CPU芯片上,为AI推理带来显著的性能提升和能效优化。另一方面,支付宝也已在 vivo 新一代旗舰智能手机上完成了基于 Arm SME2 技术的大语言模型推理验证,预填充与解码性能分别提升了40%和25%。

  这实际上传递出了一个清晰的信号:旨在加速矩阵运算密集型工作负载的 SME2,把 AI 能力重新归拢到 CPU 基座上。搭载 SME2 技术的新一代Armv9.3 CPU 集群,包括 C1-Ultra, C1-Premium, C1-Pro 和 C1-Nano,重回 AI 计算的主阵地,成为端侧 AI 的核心引擎。与 Arm KleidiAI 软件栈配合,还大幅降低了开发门槛和成本。

  正如 Arm 高级副总裁兼终端事业部总经理 Chris Bergey 在主题演讲中所强调的:“Arm Lumex 计算子系统致力于为从旗舰智能手机到平板电脑等的终端移动设备,提供旗舰级的 CPU 和 GPU 性能。同时,Lumex 还能提供充分的灵活性与定制化能力。”

  这其中,SME2技术无疑是全场最闪耀的焦点,也是Arm为端侧 AI 所打造的 Arm C1 CPU 集群的引擎和灵魂。可以说,SME2重新定义了AI时代的CPU性能,让CPU重新找回了其在整个计算中的价值与活力。过去,言必称 GPU 和 NPU 似乎已成为一个潮流,CPU渐被冷落,成了配角,处于从属地位。可 Arm SME2 以强有力的声音向世界宣告,CPU依然可以发挥关键价值,依然可以是AI领域尤其是端侧AI的主角。

  SME2的本质是将矩阵计算内建化,直接弥补了CPU在 AI 算力上的最大短板,因为CPU 不再是用通用指令去模拟矩阵乘法,而是有了专门的硬件指令和寄存器结构,性能效率成倍提升。这让 CPU 在中小型模型、实时推理里完全能独当一面,尤其适配端侧AI场景。此外,许多AI场景并不追求极致吞吐,而是追求即时响应,而 CPU 天生就是低延迟的最佳选择,有了 SME2 更是如虎添翼。

  正是得益于这样先进的特性,搭载 SME2 的 Arm C1 CPU 集群在 AI 性能层面提升高达五倍,语音类工作负载延迟降低 4.7 倍,音频生成速度提升 2.8 倍。

  在“智能瑜伽教练”实景演示中,文本转语音生成速度比过往提升了 2.4 倍。运行 Google Gemma 3 模型时,聊天交互中的 AI 响应速度比未启用 SME2 的同款设备快了六倍。

  Chris Bergey 列举了一个以 Arm C1-Pro CPU 为基准的案例,相较于未启用 SME2 的 CPU,加载了 SME2 的 Arm C1-Pro CPU 性能提升了三到六倍,“而且对于小型模型,其性能甚至超过了 GPU。”所以,他进一步强调,“SME2 的推出,标志着端侧 AI 开发迈入了对开发者更为友好的新时代,端侧 AI 能力将实现指数级飞跃。”

  Arm 终端事业部产品管理总监 Ronan Naughton 进一步表示,得益于 SME2 内置的矩阵扩展,Arm C1 CPU 能够加速涉及大量矩阵运算的大语言模型 (LLM)、媒体处理(图像与视频)、语音识别、计算机视觉、实时应用(AI 助手、计算摄影与 AI 滤镜)以及多模态应用等。

  ballbet贝博

  他提到,C1-Ultra 的推出,让 Arm 持续保持连续六年的两位数性能提升的发展势头,“其单线程峰值性能较上一代 Arm Cortex-X925 CPU,提升高达 25%”,同时,拥有极致的能耗及面积效率的 Arm C1-Nano ,能效比上一代 Cortex-A520 CPU 提升了 26%,成为可穿戴设备和紧凑型消费类电子设备的理想之选。

  总之,SME2释放出了传统 CPU 无法企及的 AI 驱动性能,是对传统CPU的颠覆,它直接把矩阵运算写进 CPU 指令集架构,让 CPU 从 AI 算力中的配角变回了主角,重新焕发了生命力。但需要强调的是,CPU不是 GPU和NPU 的替代者,而是补齐了 AI 体系的通用基座。

  在端侧AI开发中,SME2 通常与 Arm 的 KleidiAI 软件栈配合使用,以便在现有的 AI/ML 框架里自动把支持 SME2 的操作映射到 SME2 指令集上,而不需要应用开发者重写模型或修改代码。

  Chris Bergey 表示,“KleidiAI 现已嵌入到行业主流的 AI 框架和推理引擎中,并且已覆盖安卓与 iOS 两大系统。”这样一来,开发者不用关心底层硬件细节,就能自动利用SME2获得性能提升,并可在各类设备上无缝部署下一代 AI 功能。即便将来 Arm 不断推出新特性与架构升级,KleidiAI 也将持续为所支持的 AI 框架和运行时库带来自动的性能加速,无需开发者投入额外精力。

  可以说,KleidiAI 是 SME2 大规模落地的关键桥梁,它把 SME2 的硬件性能无缝释放给开发者,从而让端侧 AI 在 CPU 上有了一条统一的、高效的底层通路,避免了碎片化,同时降低了开发门槛。换句线 的潜力只有通过 KleidiAI 这样的中间层,才能让开发者无感知地享用到。

  集成了SME2技术的 Lumex CSS 平台,还拥有一项核心优势,那就是跨平台和可迁移性,它不仅仅是硬件层面的加速,更拥有面向整个生态和不同平台的开发便利性。比如,Gmail、YouTube 和 Google Photos 等 Google 应用现已全面支持 SME2 ,搭载 Lumex 的设备一经上市即可无缝运行。

  过去,开发者往往需要针对 Android 写一版、针对 Windows 再写一版,而 Lumex CSS 平台通过 Arm KleidiAI,让这些优化具备了通用性。未来如果他们的产品要扩展到 Windows on Arm,几乎不用额外开发,就能把同样的优化迁移过去。再比如,一个 AI 推理模型在 Android 上利用 SME2 优化过了,当它迁移到 Arm 架构的 Windows 设备时,不需要重新改代码,就能直接享受到相同的加速。

  这对开发者的价值可就太显著了,极大减少了移植成本,有效避免了每个平台都要重新适配一遍的碎片化问题。

  Lumex CSS 平台中,旗舰级的 Arm Mali G1-Ultra GPU 同样占有十分重要的地位。在游戏、视频处理与AR/VR 等典型端侧应用中,Mali G1-Ultra 不仅能渲染画面,还能实时完成 AI 增强与优化,实现画质与智能的双重提升。

  Arm 终端事业部产品管理副总裁 James McNiven 在演讲中表示,得益于全新的第二代光线追踪技术,Mali G1-Ultra的光线追踪性能相较前代提升了两倍。在各类图形基准测试中,也较前代产品实现了 20% 的性能提升,为《暗区突围:无限》、《堡垒之夜》、《原神》等主流游戏带来了全面的性能增强。

  全新 Mali G1 GPU 还支持 Arm 精锐超级分辨率技术 (Arm ASR),可帮助开发者在不牺牲视觉保真度的情况下,保持高帧率,从而在各种移动设备上实现更流畅的游戏体验与更清晰的细节效果。

  在 AI 工作负载方面,“由于引入了新的矩阵乘法单元 (MMUL) FP16 指令,Mali G1-Ultra 将推理性能提升了最高 20%,显著增强了各类实时应用的响应速度“,James McNiven 强调。此外,Mali G1-Ultra 还可加速如语义分割、去噪、深度估计、物体检测、语音识别和图像增强等端侧关键 AI 工作负载,“与上一代 Immortalis-G925 相比,其性能提升高达104%,可在边缘侧实现响应灵敏的实时智能。”

  新产品线-Premium 与 Mali G1-Pro 两款 GPU 还兼顾了效率与功耗的平衡,使得在高复杂图形任务下,仍能有效控制功耗。Mali G1 系列GPU还拥有丰富的生态支持,可兼容 Arm AI 工具链和 Vulkan 等 API,开发者可以快速把 AI 算法部署到 GPU 上运行。

  可扩展性同样十分出色,“Mali G1 GPU 系列提供从 1 到 24 个着色器核心选项,SoC 厂商可以根据不同定位的设备,灵活部署 AI 与图形计算能力”,James McNiven 表示。

  作为 Arm 最新一代 GPU,也是 Lumex CSS 平台的重要组成部分,Mali G1 GPU 系列不仅是图形渲染引擎,更是端侧 AI 的新型算力平台。凭借性能与能效的平衡,以及与图形任务的天然融合,Mali G1系列可推动移动终端和边缘设备向智能视觉全面演进。

  得益于Arm SME2 技术,Armv9.3 CPU 集群具备了相当的战略意义。SME2 优化了对大规模矩阵计算的支持,这些恰是许多 ML 模型中最耗费算力的部分。通过指令集级别的支持,大幅提升了运算的吞吐量与效率。

  它表明了,CPU依然值得信赖,强大的CPU也为终端注入了原生AI算力,使得高性能计算从云端下沉到每一个掌间设备。而从此,端侧AI开发有了一个更为清晰的脉络和路线 已经广受业界领先生态伙伴的采用,包括阿里巴巴、支付宝、三星 System LSI、腾讯以及vivo等。

  从 SME2 的底层算力革新,到 Lumex CSS 平台的系统级整合,Arm 推动着端侧AI从堆砌硬件的初级阶段,迈入软硬一体,协同设计的高级阶段,以平台化方式解决了生态碎片化与开发复杂度的问题。

  在 Chris Bergey 看来,Arm Lumex 不仅是Arm最先进的终端 CSS 平台,更是下一代旗舰智能移动计算的基础,它还在隐私保护、实时响应和普惠智能等方面展现出长远价值,呼应了Arm“无处不在的智能计算”的愿景。返回搜狐,查看更多