实测45fps！6T算力NPU，RK3576让Yolov5在边缘端丝滑运行

▍6T超强算力NPU

RK3576内部已集成神经网络处理器NPU，支持神经网络推理硬件加速，能够流畅运行AI算法。主要参数及测试数据如下：

（1）6TOPS高性能算力。

（2）支持INT8/INT16/FP16/BF16等。

（3）支持多种框架，如TensorFlow、MXNet、PyTorch、Caffe等。

▍三步实现AI部署

RK3576 NPU开发依托瑞芯微官方RKNN-Toolkit2工具链，打通模型训练、模型转换、应用开发全流程，无需复杂底层改造，三步即可完成AI落地：

（1）模型训练：用户根据需求自行训练模型或使用官方提供的模型。

（2）模型转换：使用RKNN-Toolkit2将预训练模型转换为RK3576 NPU可使用的RKNN模型。

（3）应用开发：基于RKNN API开发应用程序。这一步是整个部署流程的落地环节，开发者通过RKNN API将转换好的RKNN模型加载到NPU中，并编写推理逻辑，实现图像输入、模型推理、结果输出的完整闭环。RKNN API提供了模型初始化、推理执行、结果解析等丰富的接口，支持同步与异步两种调用方式，方便开发者根据实际业务场景灵活选择。同时，瑞芯微还提供了配套的示例工程和开发文档，覆盖目标检测、图像分类、语义分割等常见任务，开发者可以直接参考或在此基础上二次开发，大幅缩短应用上线周期。

▍全链路图像处理

本方案通过软硬件协同，构建了一条高效的全链路图像处理流程。

采集图像：通过V4L2框架，从MIPI摄像头实时获取高清图像数据。

图像处理：采集到的图像交给独立的RGA(2D硬件加速器)进行裁剪和缩放，不占用CPU资源，保证了处理速度。

AI推理：处理好的图像被送入NPU，运行Yolov5模型进行高速推理，快速输出识别到的物体坐标和标签。

画面显示：通过Qt将识别框和标签叠加在原始视频流上，并利用DRM实现GPU加速，最后输出到HDMI显示屏，实现流畅的实时画面展示。

▍Yolov5方案演示

我们基于创龙科技瑞芯微RK3576工业评估板以及OV13855摄像头进行实测。

执行对应程序，显示屏实时展示摄像头采集画面，自动对目标物体绘制检测框并标注类别。

程序运行稳定、识别精度高，推理与画面输出同步无延迟，适配机器视觉应用场景。画面中FPS为显示帧率，TIME为模型处理耗时及推理帧率。