视觉SLAM算法对比

纯视觉SLAM对比 纯视觉SLAM类别可分为两种主要方法：基于特征的方法和直接方法。视觉的SLAM系统基于二维图像处理，系统通过多视角获取数据，首先执行初始化流程以定义全局坐标系并重建初始地图。 时间 算法 全称 特点 地图密度 全局优化 回环检测 2007 MonoSLAM 单目SLAM 第一个单目SLAM算法 稀疏 无 无 2007 PTAM 平行跟踪和测绘 第一个将跟踪和映射分成两个不同步骤的算法 纯视觉SLAM算法流程概述 MonoSLAM PTAM DTAM SVO LSD-SLAM ORB-SLAM2 CNN-SLAM DSO 3. 时间 算法 全称 特点 地图密度 全局优化 回环检测 2007 MSCKF 多状态约束卡尔曼滤波器 包含三大核心步骤：状态传播、图像配准与滤波器更新 稀疏 无 无 2014 LKVIS 基于关键帧的视觉惯性 构建非线性动态模型，将测光误差与惯性误差相结合 稀疏 无 无 2018 VINS-Mono 单目视觉-惯性系统 单目视觉-惯性状态估计器 稀疏 具备 具备 2020 ORB-SLAM3 ORB-SLAM3

为什么 2026 年，3D 工业视觉成为视觉算法分化的一年？

这几年，3D 工业视觉走得很快，也走得有点累。参数一路狂飙：像素更高、帧率更快、功率更猛、视角更广、体积更小。单看规格表，很难不让人兴奋。 当“看得更清楚”不再等于“问题被解决”说起来，3D 视觉这条路，最早并不是这样走的。在很长一段时间里，大家默认一个逻辑：只要像素够高、光打得够强、帧率够快，问题总能被“拍清楚”。 于是，一条“减法路线”逐渐清晰——尝试仅依赖视觉，甚至只用 360° 环视摄像头，去完成 3D 环境理解。这并不是退而求其次，而是一次难度极高的正面进攻。 一套 3D 工业视觉系统，很少只由一个模型决定成败。光机稳定性、成像一致性、标定精度、重建算法、平台工具链，任何一个环节波动，都会被算法成倍放大。 当 3D 工业视觉系统被推向“长期稳定运行”的要求时，问题已经不再是有没有模型，而是：模型是否被放在了一条可控、可复现、可迭代的系统链路里。

视觉SLAM算法介绍

REF：视觉即时定位与建图算法综述 1. ⁃惯性：视觉数据与IMU数据融合，形成的视觉⁃惯性SLAM算法能够实时且精确地计算相机的 ６⁃DOF姿态，这种融合方法增强SLAM算法对复杂环境的适应能力，如在光照变化剧烈、场景缺乏特征或存在运动模糊 DeepVO算法：是将深度学习应用于视觉里程计的算法，利用卷积神经网络（ＣＮＮ）和循环神经网络（ＲＮＮ）相结合的方法来提取图像特征并进行时序信息处理， 采用端到端的学习方式，从原始图像输入到相机姿态输出 自适应特征筛选，以及深度特征词袋模型，提升了系统在复杂环境中的鲁棒性与准确性，在弱光、动态照明、弱纹理和严重抖动环境下保持高精度，多模式传感器配置的高适应性，但是计算复杂度且对高质量 ＩＭＵ 数据依赖大 3. ，以适应不同环境和运动状态 多传感器适配：融入更多传感器，实现多模态感知，综合利用视觉、激光雷达、IMU和超声波等多种感知模式 实时性优化：视觉SLAM算法在减少计算复杂度和内存消耗，主要有三个方向：

机器人视觉控制新范式！ByteDance Research新算法实现通过性能SOTA

其中，Dreamer 算法在多种模拟环境的成功表现让我们看到了世界模型优秀的表征和泛化能力。如果将世界模型应用于复杂真实场景，是否能够实现更好的控制决策呢？ 对此，ByteDance Research 研究团队与上海交通大学合作，成功将世界模型应用于四足机器人视觉控制领域，提出了基于世界模型的感知算法 WMP（World Model-based Perception ），WMP 通过在模拟器中学习世界模型和策略，其中世界模型通过历史感知信息（包括视觉感知和本体感知）预测未来的感知，策略以世界模型提取的特征作为输入，输出具体控制动作。 在足式机器人的运动控制中，视觉图像信息对于诸如越障等复杂环境是不可或缺的。 凭借强化学习的奖励信号从长序列、高维的视觉信息中学习策略难度极大。 总结 本研究提出了一种新的运动控制框架，通过构筑的世界模型来处理视觉信息和辅助决策，在四足机器人运动控制领域取得了不错的效果。

3D视觉

简介 随着自动驾驶、AR & VR 等技术的发展，3D 视觉的研究正方兴未艾。 目前 3D 视觉的两个主要问题是： 从一张 2D 图像预测得到 3D 表示 处理 3D 表示数据来实现下游任务（分类、检测、分割等） 2. 3D 表示 目前 3D 视觉表示主要有 555 种方法：深度图 Eigen 等人提出的神经网络结构如下： image.png 2.1.2 RGB + Surface Normal 另一种类似表示 3D 视觉信息的方法是对 RGB 图像中的每个像素，给出其所在物体表面的法向量 这样也能在一定程度上表示 3D 物体的空间结构信息。 {1}{n} \sum_i N_i \cdot N_i^* \tag{3} Lnormal​(N,N∗)=−n1​i∑​Ni​⋅Ni∗​(3) 其中， 和 分别表示网络预测的 Surface

PID控制算法

PID控制算法是一个在工业控制应用中常见的反馈回路算法，它把收集到的数据和一个参考值进行比较，然后把这个差别用于计算新的输入值，从而使得整个系统更加准确而稳定。 图片来源[1] 下面我们主要了解PID控制算法的细节及其在机器人/自动驾驶领域的应用。在机器人/自动驾驶领域，一个常见的任务就是使得机器人/自动驾驶车辆移动到目标轨迹上。 image.png 3.P&D Control 为了解决OverShoot引起的震荡问题，引入Derivative Control。 如下图所示，控制指令要求车辆转向为0度，但实际上它转了0.5度，这种误差对于人类司机来讲，会自动校正；但是对于自动驾驶系统，需要消除这种误差。

视觉格式化模型-控制框

一、块级元素和块框 块级元素是源文档中那些在视觉上被格式化为块（如：段落）的元素。 匿名行内框

Some emphasized text

​基于机器视觉的视觉刺激BCI系统实现动态控制

视觉刺激(VS)是目前无创BMI应用最广泛的范式之一，具有高精确度和高信息传递率(ITR)等优势。 一个基于机器视觉的增强现实视觉刺激动态范式（AR-VS），利用动态决策时间区分方法解码人的意图，该方法控制基于任务与自运动系统协调的机器人在快速灵活的状态下，实现了更高的灵活性和更快的执行速度。 图1 AR-VS运行过程 (a) 现实环境中的AR-VS；(b) 和（c）为基于AR-VS的机器人控制系统示意图。 枕叶为SSVEP效应区，O1、O2、Oz、P3电极信号作为目标信号。 图3 在线实验范式，红色圆圈为静态VS，对应前进、右转、左转、后退和停止。绿色圆圈表示四个玩具中有两个在场景中被认出，随后附加一个动态刺激。 图4 FBCCA分析方法。

机器视觉算法(系列一)--机器视觉简短入门

由于笔者正处于机器视觉行业，所以准备和大家一起系统的学习机器视觉方面相关知识，主要包括常见的机器视觉算法，以及常见的应用领域算法的实现等，欢迎大家的讨论和交流。 其中， 为传送带上的被测物体 为合适的拍摄被测物的相机 为标准或定制的光源 为触发图像采集的光电传感器 为计算机或工控机 为相机-计算机接口 为驱动软件采集到的图像 机器视觉算法处理处理过程 为算法返回的检测结果 为数字I/O口 PLC控制器 为现场总线接口 执行机构 上面系统的一般工作流程如下： 被测物体被传输到固定位置后，触发相机采集图像 采集到的图像传入计算机进行算法运算 将运算结果通过控制器返回到执行机构 2.常见的机器视觉应用 下面举几个常见的，必须有机器视觉系统参与的任务： 目标识别用来甄别不同的被测物体，比如物流控制或者根据不同目标进行的不同检测，识别有特殊识别特征的识别物，如字符串，条形码，二维码或被测物体的形状等特性 3.常用的图像处理库 关于常用的图像处理库，笔者之前写过一篇图像处理库的综述文章，戳下面的链接！ 图像处理库综述

视觉算法落地复盘

我在视觉算法落地这个坑里摸爬了很多年。从最早的传统图像处理，到后来的目标检测、语义分割，再到现在的大模型视觉。每一次技术迭代，学术界都会吹出一堆牛皮的论文，但没人告诉你落地的时候会遇到什么。 二、老板的热力学定律 每个做视觉算法落地的人，都会遇到一个违反热力学定律的老板。 然后前端同事转头就跟产品经理说"视觉算法太慢了"。你连辩解的机会都没有。 算力第一定律：你能用什么模型，不取决于你的技术水平，而取决于你的算力预算。 视觉算法落地这个领域，没有银弹，没有万能药。 每一个项目都是一次取舍，每一次部署都是一次妥协。你要在精度、速度、成本之间找到平衡点，而这个平衡点每次都不一样。 最后，我想对所有在视觉算法落地一线的同伴们说几句。 这个行业很苦，但也很有意思。你解决的每一个问题都是实打实的，你写的每一行代码都是真正在服务用户的。

机器人视觉3

随着技术的发展，3D相机的使用越来越频繁，当然如果价格亲民点、再亲民点，那将得到更多的使用。 今天我们就来说说3D相机和机器人之间那些思维。 往往3D相机是标定工具的，因此相机给出的位置信息对于机器人来说相当于绝对坐标值，就是说相机给了这个产品的位置信息，机器人拿到就直接执行这个位置就可以了。 首先我们来了解一下3D相机的原理： 3D相机是通过“激光”扫描得到镜头下物体轮廓的点云，并且计算出预先设置好的特征，并且计算出机器人tcp的位置 由此看来相机需要知道机器人的base坐标系位置，tcp

TCP 拥塞控制算法

TCP协议有两个比较重要的控制算法，一个是流量控制，另一个就是阻塞控制。  TCP协议通过滑动窗口来进行流量控制，它是控制发送方的发送速度从而使接受者来得及接收并处理。 四大算法  拥塞控制主要是四个算法：1）慢启动，2）拥塞避免，3）拥塞发生，4）快速恢复。这四个算法不是一天都搞出来的，这个四算法的发展经历了很多时间，到今天都还在优化中。 拥塞状态时的算法  一般来说，TCP拥塞控制默认认为网络丢包是由于网络拥塞导致的，所以一般的TCP拥塞控制算法以丢包为网络进入拥塞状态的信号。 快速恢复算法的逻辑如下： cwnd = cwnd + 3 MSS，加3 MSS的原因是因为收到3个重复的ACK。 重传DACKs指定的数据包。 如果再收到DACKs，那么cwnd大小增加一。 后记  本文为大家大致描述了TCP拥塞控制的一些机制，但是这些拥塞控制还是有很多缺陷和待优化的地方，业界也在不断推出新的拥塞控制算法，比如说谷歌的BBR。这些我们后续也会继续探讨，请大家继续关注。

机器视觉降龙算法项目

降龙算法十八掌：十八种经典机器视觉算法 出此系列教程的目的是面向处于学习阶段的学生，尤其是想做机器视觉传统算法工程师或者机器视觉软件开发工程师的同学。 整个单次运行、循环运行和停止运行是靠一个单生产者单消费者队列模型来控制的，会在后续教程种做详细讲解。 3、降龙算法十八掌 降龙算法系列教程会对降龙GUI集成十八种机器视觉领域的经典算法，包括但不限于边缘提取、直线检测、圆检测、mark点提取、毛刺检测、卡尺测量、斑点分析、光度立体、模板匹配、灰度匹配等等 golink=aHR0cHM6Ly93d3cuY29kZXByb2plY3QuY29tL0FydGljbGVzLzk5NDU3L0VkZ2UtQmFzZWQtVGVtcGxhdGUtTWF0Y2hpbmc golink=aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNzIwNDk3My9hcnRpY2xlL2RldGFpbHMvODI1MzA3MTM=)

计算机视觉：撕裂时空的视觉算法革命狂潮

本文将深入探讨计算机视觉领域的关键技术和算法，并结合 C++ 代码进行详细的实现和分析，带领读者领略这场视觉算法的革命狂潮。 二计算机视觉基础： 2.1 图像表示与处理： 2.1.1 图像的基本概念： 在计算机视觉中，图像通常被表示为一个二维矩阵，矩阵中的每个元素代表一个像素点的颜色值。 OpenCV 是一个广泛应用于计算机视觉领域的开源库，提供了丰富的图像处理和计算机视觉算法。 模型 cv::dnn::Net net = cv::dnn::readNet("yolov3.weights", "yolov3.cfg"); // 读取图像 cv::Mat 本篇直观呈现了计算机视觉技术的实现过程。计算机视觉正以前所未有的速度发展，未来将在更多领域创造惊喜，推动科技进步迈向新高度。

飞行机器人BeeRotor:用视觉控制飞行

虽然有研究指出，飞行的昆虫是通过重力来感知方向进行导航，实际上，这些研究也表明，这些昆虫也大部分通过视觉控制飞行，即通过复眼视网膜感知周围环境的光流信息。 这种基于视觉的感知机制激发了研究者Fabien Expert和埃克斯·马赛大学研究机构Institut des Sciences du Mouvement Etienne-Jules Marey的Franck 为了更加精确复制昆虫通过感知光流信息控制飞行的能力，研究者们在BeeRotor的“眼睛”上下方安装了24个光电二极管，让机器人感知周围环境。 第一个通过视觉数据控制飞行高度。第二个，通过收集的地势数据控制速度。最后一个用来保持平衡，以避免在没有安装加速计的情况下，急剧倾斜带来的不稳定破坏拍摄效果。

机器视觉3——电磁波

通过以上图我们可以看出，正弦波上的点和圆上的点相对应，我们假想圆是一个时钟的表盘，那么指针每走的一步都会相应体现在正弦波的前进起伏上。

巴塞罗那自治大学.3D视觉课件.3

巴塞罗那自治大学，3D视觉课件.1 巴塞罗那自治大学.3D视觉课件.2 我还是一句话，自己推导一些这些定理，过了理论关，再去看代码实现，永远都是那么割裂，这不是一个学习的好法子。

小白系列（3）| 计算机视觉之直接视觉跟踪

首先，我们将介绍几种视觉跟踪方法。然后，我们将解释如何对它们进行分类。我们还将讨论直接视觉跟踪的基本内容，特别关注基于区域的方法和基于梯度的方法。 目录： 视觉跟踪简介 对视觉跟踪方法进行分类 基于区域的跟踪方法 基于梯度的方法 总结 01 视觉跟踪 视觉跟踪，也称为目标跟踪或视频跟踪，是使用视觉信息估计场景中目标对象的轨迹的问题。 02 视觉跟踪方法的分类 视觉跟踪方法可以根据以下主要组成部分进行分类： 现在，让我们更详细地看一下这些组件。 为了提取特征，通常使用几种目标检测算法。例如，像SIFT，SURF，ORB，Shi-Tomasi这样的算法。 子空间分解 在某些情况下，参考图像的子空间可以用于对目标的外观建模。 解决此问题的一种方法是检测两个图像中的关键点，然后使用一些特征匹配算法来查找它们的匹配项。不过，我们也可以使用模板图像强度值进行搜索。为此，我们将应用transformation warping。

TCP拥塞控制算法简介

TCP协议有两个比较重要的控制算法，一个是流量控制，另一个就是阻塞控制。  TCP协议通过滑动窗口来进行流量控制，它是控制发送方的发送速度从而使接受者来得及接收并处理。 四大算法  拥塞控制主要是四个算法：1）慢启动，2）拥塞避免，3）拥塞发生，4）快速恢复。这四个算法不是一天都搞出来的，这个四算法的发展经历了很多时间，到今天都还在优化中。 ? 拥塞状态时的算法  一般来说，TCP拥塞控制默认认为网络丢包是由于网络拥塞导致的，所以一般的TCP拥塞控制算法以丢包为网络进入拥塞状态的信号。 快速恢复算法的逻辑如下： cwnd = cwnd + 3 * MSS，加3 * MSS的原因是因为收到3个重复的ACK。 重传DACKs指定的数据包。 如果再收到DACKs，那么cwnd大小增加一。 后记  本文为大家大致描述了TCP拥塞控制的一些机制，但是这些拥塞控制还是有很多缺陷和待优化的地方，业界也在不断推出新的拥塞控制算法，比如说谷歌的BBR。这些我们后续也会继续探讨，请大家继续关注。

TCP拥塞控制算法简介

TCP协议有两个比较重要的控制算法，一个是流量控制，另一个就是阻塞控制。  TCP协议通过滑动窗口来进行流量控制，它是控制发送方的发送速度从而使接受者来得及接收并处理。 四大算法  拥塞控制主要是四个算法：1）慢启动，2）拥塞避免，3）拥塞发生，4）快速恢复。这四个算法不是一天都搞出来的，这个四算法的发展经历了很多时间，到今天都还在优化中。 ? 拥塞状态时的算法  一般来说，TCP拥塞控制默认认为网络丢包是由于网络拥塞导致的，所以一般的TCP拥塞控制算法以丢包为网络进入拥塞状态的信号。 快速恢复算法的逻辑如下： cwnd = cwnd + 3 * MSS，加3 * MSS的原因是因为收到3个重复的ACK。 重传DACKs指定的数据包。 如果再收到DACKs，那么cwnd大小增加一。 后记  本文为大家大致描述了TCP拥塞控制的一些机制，但是这些拥塞控制还是有很多缺陷和待优化的地方，业界也在不断推出新的拥塞控制算法，比如说谷歌的BBR。这些我们后续也会继续探讨，请大家继续关注。