Kneron发布新一代终端人工智能处理器NPU IP-KDP Series

专注于终端人工智能解决方案的新创公司耐能 (Kneron) 今日参与在上海举行的 Arm 人工智能开发者全球峰会，以“可重构算法在AI芯片中的应用”为主题发表演说，会中同时发布 Kneron 新一代终端人工智能处理器系列NPU IP- KDP Series。Kneron 第二代NPU IP包括三大产品，分别为超低功耗版 KDP 320、标准版 KDP 520、以及高效能版 KDP 720。全系列产品的功耗低于0.5瓦(W)，采用新的架构设计让运算更具弹性，整体效能相较于上一代产品大幅提升达3倍，运算能力 (peak throughput) 最高可达5.8 TOPS（每秒万亿次运算）（註一）。

Kneron 创始人兼 CEO 刘峻诚表示：“Kneron 推出为终端装置所设计的人工智能处理器NPU IP后，其超低功耗的优势受到市场高度关注。Kneron 新一代 NPU 产品在诸多方面取得显著的突破，基于第一代产品的优势，我们改善数据运算流程、提升整体运算效能与储存资源使用率，同时针对不同的神经网络模型进行优化，让 NPU 可以更广泛地应用在各种终端装置，并满足更复杂的运算需求。”

Kneron NPU IP 可应用在智能手机、智能家居、智能安防、以及各种物联网设备上，让终端装置在离线环境下就能运行各种神经网络。Kneron 第二代NPU IP采用新的交错式运算架构 (Interleaving computation architecture) 设计，缩短运算流程和提升效率。深度压缩 (Deep compression) 技术让压缩功能从模型层级深入至数据和参数层级，使压缩率再提升。动态储存资源分配功能提升储存资源利用率，却不影响运算效能。此外，支持更广泛的卷积神经网络 (Convolutional Neural Networks,CNN) 模型，并针对各种 CNN 模型分别进行优化，在不同神经网络模型下，可提升约1.5倍至3倍不等的效能。

第二代 NPU IP-KDP Series 重点技术说明：

交错式运算架构设计：透过交错式架构，让神经网络架构中主要的卷积 (convolution) 与池化 (pooling) 运算可平行进行，以提升整体运算效率。在新的卷积层中，还可同时支持 8bits 与 16bits 的定点运算 (fixed point)，让运算更有弹性。

深度压缩技术：不仅能执行模型压缩，还能对运行中的数据和参数 (coefficient) 进行压缩，减少内存使用。模型大小可压缩至50分之一以下，准确度的影响率小于1%。

动态储存资源分配：让共享内存 (shared memory) 和运作内存 (operating memory) 之间可以进行更有效的资源分配，提升储存资源利用率的同时却不影响运算效能。

CNN模型支持优化：支持更广泛的 CNN 模型，包括 Vgg16、Resnet、GoogleNet、YOLO、Tiny YOLO、Lenet、MobileNet、Densenet 等，而且针对不同 CNN 模型分别进行优化，在不同神经网络模型下，相較上一代產品提升约1.5倍至3倍效能。

注一：运算效能会因纳米制程不同而异。5.8 TOPS 为 KDP720 在 28 纳米制程、600 MHz、8bit fixed points 下的效能表现，预测运行功耗在 300-500mW（估计每瓦效能为13.17 TOPS/W）。