Transformer大模型在边缘侧落地可行吗？爱芯元智AX650N表示无压力

【CC博客】5月30日消息，ChatGPT成为史上增长最快的消费类应用。这背后，是ChatGPT代表的高阶人工智能表现对人们的冲击。

ChatGPT使用的Transformer架构是以自监督的方式预训练的，作为基于GPT（Generative Pre-trained Transformer）预训练语言模型的消费类产品，ChatGPT的成功也让技术圈看到了Transformer的巨大潜力。

越来越多AI研究领域（例如，CV（计算机视觉）领域）开始把自监督方式预训练的Transformer用在各大应用场景，以期待产生类似ChatGPT的智能涌现。

然而Transformer模型往往需要巨大量的参数，才能出现所谓的“智能涌现”。因此，目前较为成功的GPT模型，大都是在“云端”进行训练和落地。

但是可以预见的是，未来要想让GPT模型应用产品在消费级市场有广泛应用和发展，解决在端侧、边缘侧高效部署Transformer将是关键一环。

专注研究人工智能视觉感知芯片的爱芯元智技术团队敏锐的看到了这一市场机会，对其第三代高算力、高能效比的SoC芯片——AX650N进行了优化，经测试，优化后的AX650N已成为业内首屈一指的Transformer端侧、边缘侧落地平台。

这也就意味着，对于那些有在端侧、边缘侧部署Transformer模型以提升图形图像识别精度的企业（比如机器人、自动驾驶企业等）来说，现在，借助AX650N就能实现Transformer模型落地、提升其视觉能力。

承载Transformer大模型 AX650N表现如何？

相比于在云端用GPU部署Transformer大模型，在边缘侧、端侧部署Transformer最大的挑战则来自功耗。

AX650N是爱芯元智于2023年3月推出了第三代高算力、高能效比的SoC芯片，具有高性能、高精度、易部署、低功耗特征。

经适配Transformer调优后，爱芯元智技术团队的测试数据显示，目前大众普遍采用的Transformer网络SwinT，在爱芯元智AX650N平台表现出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

具体来看，361帧的高性能可媲美汽车自动驾驶领域基于GPU的高端域控SoC；而80.45%的高精度成绩同样高于市面平均水平；199 FPS/W的速度也充分体现出低功耗的特点，对比于目前基于GPU的高端域控SoC，有着数倍的优势。

“AX650N会对Transformer支持比较好，因为有一个全面优化的设计，还有一个高性能的多核架构。爱芯元智兼具高性能和低功耗特质的混合精度NPU在一开始设计的时候，就是一个异构多核的设计，里面有一个核具有一定的可编程性，提供灵活性。同时，考虑到有些网络对数据需求量比较大，在架构上做了一些预留，这样最终看到的效果是在AX650N上Transformer跑的效果是比较快的。”爱芯元智相关技术负责人向CC博客表示。

同时，AX650N也提供了简单便捷的部署能力。GitHub上的原版模型可以在爱芯元智的平台上高效运行，不需要对模型做修改，不需要QAT重新训练。目前，AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型，在DINOv2也达到30帧以上运行结果，这也使得用户在下游进行检测、分类、分割等操作更加方便。

与此同时，AX650N支持低比特混合精度，用户如果采用INT4，可以极大地减少内存和带宽占用率，可以有效控制端侧边缘侧部署的成本。这些特性都保证了AX650N作为人工智能算力平台，最终落地效果更好用、更易用，大幅提升了用户的效率。

据悉，基于AX650N的产品已经在智慧城市，智慧教育，智能制造等计算机视觉重要领域发挥出重要作用。

7月将推出基于AX650N的开发板——AXera-Pi Pro 供开发者使用

目前，爱芯元智AX650N针对Transformer结构仍在进行持续优化，并且探索更多的Transformer大模型，例如多模态大模型，不断让Transformer在爱芯元智平台上得到更好的落地效果。

谈及迭代方向，爱芯元智透露的信息包括，针对于Transformer结构，怎么能让硬件读数据的时候，能够对离散的数据获得一个比较高效的读取以及配套的计算能够和数据读取匹配起来。也会尝试4比特来解决模型参数量大的问题等。

值得一提的是，爱芯元智已经将在7月推出基于AX650N的开发板——AXera-Pi Pro，满足开发者对Transformer深度研究的需求，探索更丰富的产品应用。

爱芯元智方面表示，未来，这块小板子在电商平台上就可以买到，对Transformer感兴趣的学生、工程师或者社区开发人员都能够很方便地购买开发板，从github上找到软件的工具以及示例，能快速开发出自己的一些应用，包括用户想做的一些落地尝试。

“Transformer之前在NLP方面发展比较深入，在CV领域是最近这几月才开始陆陆续续有大模型放出来，这块目前还处于快速发展过程中。”爱芯元智联合创始人、副总裁刘建伟强调，爱芯元智AX650N在承载Transformer落地时的良好表现，算是抢得了“先发优势”，后续仍将持续优化产品，加速基于Transformer的大模型在端侧、边缘侧落地的节奏。