工业视觉 / 统一模型 / 深度实测
SenseNova-Vision 工业场景实测全记录
统一视觉模型最近很火。论文漂亮、榜单好看、Demo 惊艳——但工业现场的图,它到底行不行? 我们没有用官方精美样例,而是把自己的金属工件、产线双目图,加上从网上找的电脑主板、化工厂全景、车间操作场景,一共 5 种完全不同的工业图,全部扔给了 SenseNova-Vision。 检测、分割、深度、法线、开放理解——能跑的任务全跑了一遍。

前 3 张是我们自己的工业件和产线图,后 3 张来自 Pexels(CC0 协议)。覆盖了从微观(主板)到宏观(化工厂)的完整尺度。
能用,而且比预想中"更像一个多面手"。
在我们这 6 张工业图上: 开放理解——最大亮点。主板、化工厂、金属件、产线,全部给出专业且结构化的描述。 检测框——主体定位靠谱,但不会拒绝不合理的 prompt。 分割——前景清晰的工业件 mask 干净,复杂场景更像"前景提取"。 深度 / 法线——能看出结构层次,但别当计量设备。 遮挡 / 缺失判断——偏弱,太"乐观",不能当质检决策器。
同一张金属条模板,我们连续跑了理解、检测、深度、法线四项任务——这是最能体现"统一模型"味道的地方。
开放理解
"The image displays a metallic rectangular bar with a brushed finish. The bar has evenly spaced vertical slots along its length and circular through-holes at each end. The material appears to be steel or aluminum, commonly used in industrial applications. The holes are likely for mounting purposes..."
没有把工件描述成"键盘、遥控器、装饰画"——工业语境是对的。

目标检测
相对深度
表面法线
检测:金属条主体一个大框位置准,孔位一排小框基本贴着圆孔,两端端块被标成 bracket。定位能力明显强于细分类能力。 深度/法线:能分出工件和背景,隐约看到条状轮廓和孔的起伏——是"结构化的几何直觉",不是计量级重建。

metal bar 分割 mask
平移样本检测
只问了一句"请分割 metal bar",返回的 mask 很干净:主体完整、背景干净、边缘没有碎成雪花点。工件平移后,检测结构关系还在,没有明显"看丢"。

T8 遮挡样本
我们明确问:"有没有被遮挡?缺了什么?" 它的回答:"在右侧且完整可见,所以没什么缺失。" 问题在这里——工业质检里,"看起来都在"和"关键特征是否齐全"完全是两回事。 它更像在做场景叙述,而不是缺陷裁决。

产线双目左图
深度估计
开放理解
"白色细长塑料导轨,多孔多槽,放在黑色反光表面上,上方有光照,表面看起来干净,没有明显划伤、变色或变形。"
很像一个靠谱质检员的"第一眼描述"。深度图能勾勒导轨轮廓,但细节偏平滑。
主板特写是本轮测试中模型表现最好的样本——理解输出结构化、专业、准确,一次识别出 7 个关键部件。
开放理解(原文摘录)
"This is an image of a computer mainboard (also known as a motherboard)... 1. CPU socket:中央 large square chip with numerous small contacts 2. Heat sink:黑色散热器 with metallic-looking base 3. DIMM slots:左侧两条 empty slots 4. PCI-Ex slots:右侧多条 with metallic brackets 5. Chipsets:多个 dense contact points 6. Connectors:电源、SATA、USB 端口 7. BIOS/CMOS:左下角 clear circular cover"
7 个关键部件全部识别正确,描述专业且结构化。

相对深度估计
表面法线估计
深度图能区分散热器(凸起)和 PCB 平面(基底),法线图能看到芯片区域的微结构起伏。但整体偏平滑,不适合做元件高度测量。
一张化工厂全景——塔器、管道、走道。理解能力再次验证,但检测任务暴露了一个重要问题。
开放理解(原文摘录)
"The image depicts an industrial facility under a clear blue sky. Several large, vertical cylindrical structures dominate the scene... The foreground features a network of pipes and girders, some rusted, suggesting age or exposure to the elements... commonly found in chemical processing or petrochemical plants."
正确识别为化工/石化设施,描述具体且准确。

检测 prompt:chip / capacitor / resistor / connector / LED
典型翻车:我们故意用了 PCB 元件的 prompt,模型并没有说"图里没有这些东西",而是把所有类别都框在了同一片区域上。 这说明:检测模块不会拒绝不合理的 prompt,它会"尽力满足"你的要求,哪怕图里根本没有那些东西。工业部署中,这是必须加护栏的地方。

二值分割(prompt: "main chip")

目标检测
工件分割
开放理解(原文摘录)
"The image depicts an individual standing in what appears to be a workshop or factory setting. The person is wearing a dark-colored t-shirt and red work gloves... The machinery visible includes what appears to be a large grinding or polishing machine... such as in a machine shop or metal fabricating facility."
检测给了 4 个框(workpiece、tool、clamp、hole),但 workpiece 和 clamp 框重叠,tool 框极小。分割 mask 把人物和机器一起切了出来——说明 binary seg 更接近"显著性前景提取",而非精确的类别分割。
能力 | 体感评分 | 建议用法 |
|---|---|---|
开放图像理解 | 4.5 / 5 | 数据预标注、场景说明、报告草稿 |
目标检测 | 3.5 / 5 | 找主体、孔位、大致区域(需加合理性校验) |
二值/指代分割 | 3.5 / 5 | 快速抠工件、做 ROI(前景清晰时效果好) |
相对深度 | 3 / 5 | 辅助理解前后关系,不做精密测量 |
表面法线 | 3 / 5 | 看结构起伏,不做计量依据 |
遮挡/缺失判断 | 2 / 5 | 需规则或专用模型兜底 |
OCR(无字图) | 2 / 5 | 有清晰文字时再开,无字图会硬读 |
1. 理解能力是真正的"统一"优势 无论是主板、化工厂、金属件还是产线,模型都能给出专业、结构化、有工业语境的描述。这不是"看图说话",而是真正理解了场景的功能和结构。
2. 检测模块不会"拒绝"不合理的 prompt 在化工厂图上问"检测 chip/capacitor",它不会说"没有",而是硬框一片区域。工业部署中,必须在上层做"合理性校验"。
3. 分割更像"前景提取"而非"语义分割" 前景清晰的金属件 mask 干净完整;但在车间场景中,它把人物+机器一起切了出来。使用前需要确认输出是否符合预期。
4. 遮挡判断太"乐观" 它更像在做场景叙述,而不是缺陷裁决。"看起来都在"不等于"关键特征齐全"。这一项不能单独用于质检判定。
推荐落位:
1. 数据前处理助手——自动粗检、粗分割、生成初步标签,再人工纠正
2. 多任务预研底座——新项目来了,先用统一模型摸清图里有什么、难点在哪
3. 报告与复盘生成器——把检测/分割结果转成可读描述
4. 人机协同质检的第一层——先由模型给线索,再由规则或人工确认
不推荐直接做的事:
- 直接输出 OK/NG 并连到剔除机构
- 替代高精度尺寸测量
- 在复杂遮挡、强反光、微小缺陷场景独自负责最终判定
SenseNova-Vision 给人的感觉,很像一位知识面很宽的初级视觉工程师。 你丢一张新图,它能较快告诉你"这大概是什么、哪里是主体、孔在哪、结构怎么走"。 你让它做精密裁决、缺失定责、公差判定,它会开始犹豫,甚至说错。 但这已经足够有价值了。 因为工业视觉真正费时的,往往不是最后那 1% 精度,而是前面 80% 的:看懂场景、找到目标、切出 ROI、形成第一版可讨论结果。 统一模型正在把这 80% 变快。
测试环境:SenseNova-Vision-7B-MoT / Hugging Face Space 在线推理 测试图片:自有工业件 + Pexels (CC0) / 模型协议:Apache 2.0
GitHub: github.com/OpenSenseNova/SenseNova-Vision Demo: huggingface.co/spaces/sensenova/SenseNova-Vision 权重: huggingface.co/sensenova/SenseNova-Vision-7B-MoT