OpenCV5正式发布-算法支持更多、执行速度更快

为什么选择OpenCV5

OpenCV 5 是对SDK与支持库的重大现代化改造。它带来了全新的DNN引擎、更强的ONNX支持、硬件加速改进、更好的Python集成、新的数据类型、扩展的3D视觉能力、改进的文档以及为未来打造更简洁的架构。

OpenCV5的设计目标

让核心更快更小，提升语言支持，清理旧API，现代化DNN引擎，支持新的硬件加速路径，改进3D视觉工具，并让文档更易使用。

如果你这几年用OpenCV发布过任何东西，你就会明白那种感觉。库几乎涵盖了所有功能，但深度学习方面总感觉落后于人们真正使用的模型。你可以导出一个新模型到 ONNX，用 OpenCV 的 DNN 模块指向它，然后祈祷成功。有时候确实有效。有时它会报出一个从未听说过的算子错误。

DNN关键解读

ONNX算子支持

OpenCV 的 ONNX 算子覆盖支持率从4.x天的约22%跃升至OpenCV 5中的80%以上。这样对绝大多数的模型部署都会给予比较好的支持。

算子融合与压缩支持

DNN引擎识别每个Transformer block核心的经典 MatMul → Softmax → MatMul 模式，并将其压缩为单一的熔合注意力操作，并采用类似 FlashAttention 的实现。有效提升模型推进速度。

后台推理引擎支持

支持三种不同的模式，分别是DNN图模式、自动模式、ORT模式。AUTO模式会自动尝试最新的推理引擎，不行则退回原来的经典模式；其中ORT模式采用ONNXRUNTIME的核心推理引擎。

VLM与LLM模型部署支持

OpenCV5 DNN模块实现了对大语言模型与多模态视觉语言模型部署支持，同时支持CNN与Transformer DINO系列模型部署。

为了支持VLM与LLM，OpenCV首次实现内置于库中的本地分词器，用于自回归解码的KV缓存，因此生成过程保持高效，模型一次生成一个token。

此外特征匹配层面，OpenCV5也引入了基于CNN的特征匹配模型方式支持。大家可以自己看文档。

语言标准升级

最新的OpenCV5的C++语言标准已经将C++17作为最低支持标准。全面丢弃支持C API方式SDK。

硬件加速

在传统的图像算法依然支持硬件层面的加速运算，只不过在OpenCV5中通过单一的指令矢量库（Universal Intrinsics 2.0）自动映射到不同SSE、AVX2/512、NEON、SVE、RVV不同CPU系统的指令集。

团队报告说，因此常见的ARM操作（如调整大小和变速）速度提升了3-4倍

3D视觉

OpenCV的3D能力多年来大幅提升，OpenCV 5将其重新划分为三个重点模块：

3D 基础三维几何和视觉，
包括输入输出、几何原语、像ICP这样的算法，以及SLAM的部分内容。

CALIB
相机校准，包括单机校准和重构的多机位流水线。

立体声：
立体声的深度。

个人观察

OpenCV5的主要革新体现在以下几个方面：

DNN模型支持从CNN拓展到Transformer到LLM与VLM
传统图像算法的指令集加速优化支持
3D视觉与相机校准
文档更新与重写

虽然OpenCV团队已经宣布了OpenCV5已经发布，但是在opencv.org上面暂时没法找到打包好的安装包，另据官方说明python版本的pip安装包后滞后发布。

问题来了，

之前是用OpenCV4做的开发，现在需要升级到OpenCV5？我个人回答是：不着急，让子弹先飞一会！毕竟 勇敢者先掉坑