> 声明：原创文章，AI 辅助整理，数据与错误均为本人实测

---

## 摘要

做云上数据采集的同学大概都遇到过这种情况：脚本正常退出、日志没有 ERROR、CSV 正常落盘，然后数据用不了。本文用一个真实案例说明——**字段完整度 100% 的数据，依然可能是完全错的**，并给出一个 30 行、可直接复用的校验方案。

## 一、真实案例

那次要交付一批数据。抓完落盘，校验一遍：

```
总行数: 48
唯一ID数: 48        ← 无重复
薪资   : 48/48  100%
公司   : 48/48  100%
链接   : 48/48  100%
城市   : 48/48  100%
```

所有自动化指标全绿。脚本没报错，退出码 0。

**但我要的是 D 城市 + python 职位，拿回来的是 C 城市的 D 岗、E 岗、F 岗，关键字命中率 2%。**

这批数据让我返工了两次。

**第一次，交付客户。** 客户发现数据不对，返工。

**第二次更麻烦，接入业务系统。** 数据推进去了，字段完整度 100%，但业务系统查出来是空的。

我当时第一反应是：SQL 写错了。改 SQL、加日志、查缓存、查索引，折腾很久。

最后发现：**数据不是坏的，是不是我要的。**

## 二、为什么这种情况查不出来

业务系统里「查询返回空」只有三种原因：

1. 数据不存在
2. 数据存在，但字段值和我要的不一样
3. 查询逻辑写错了

**这三种在数据库层面是同一句话：`0 rows returned`。**

应用层收到的信号完全一样。你没有任何线索能告诉你该去查哪一层，所以会本能地去怀疑自己写的查询，而真因在数据里。

**结论：数据进业务系统之前，先抽查原始值。**

## 三、核心问题：字段完整度为什么是个坏指标

上面的案例里，字段完整度 100%，但数据完全不可用。原因有两层：

**第一层，完整度和正确性是两个维度。** 字段非空只说明「有值」，不说明「是对的值」。

**第二层，一致性不等于正确性。** 这是更容易踩的坑：

```python
# ❌ 无效的校验：检查所有行城市是否一致
cities = set(r['城市'] for r in rows)
assert len(cities) == 1     # 会通过！

# ✅ 有效：拿外部预期值比对
assert rows[0]['城市'] == expect_city
```

我那 48 条全是 C 城市，字段内部高度一致，所以「所有城市相同」这个断言**是通过的**。

**一致地错，比错得五花八门更难发现。**

## 四、校验脚本（可直接复用）

30 行，退出码即契约：

```python
"""
抓取结果校验器
关键设计: 比【值】而不是比【字段是否填满】
用法: python check_result.py data.csv --expect-city D城市 --expect-kw python
退出码: 0=数据可用, 1=数据不可用（不管有没有抛异常）
"""
import csv
import sys


def load(path):
    with open(path, encoding='utf-8-sig') as f:
        return list(csv.DictReader(f))


def check(path, expect_city='', expect_kw=''):
    rows = load(path)
    print(f'条数: {len(rows)}')
    if not rows:
        print('[FAIL] 空文件')
        return 1

    errors = []

    # 1) 城市：比第一条, 而不是检查是否一致
    if expect_city:
        got = rows[0]['城市']
        if got != expect_city:
            errors.append(f'首条城市 {got} != 期望 {expect_city}')
        else:
            print(f'[OK] 首条城市 {got}')

    # 2) 多城市混杂 = 半路被改写
    cities = set(r['城市'] for r in rows if r['城市'])
    if len(cities) > 1:
        errors.append(f'混入 {len(cities)} 个城市: {sorted(cities)}')

    # 3) 关键字命中率
    if expect_kw:
        kw = expect_kw.lower()
        hit = sum(1 for r in rows if kw in r['职位'].lower())
        pct = hit * 100 // len(rows)
        if pct < 60:
            errors.append(f'关键字「{kw}」命中仅 {pct}%')
        else:
            print(f'[OK] 关键字命中 {pct}%')

    # 4) 薪资全空 = 多半没登录
    n = sum(1 for r in rows if r['薪资'] and r['薪资'] != '未公开')
    if n == 0:
        errors.append('薪资全空, 极可能未登录')

    print()
    if errors:
        print('[FAIL] 数据不可用:')
        for e in errors:
            print(f'  - {e}')
        return 1
    print('[OK] 全部校验通过')
    return 0


if __name__ == '__main__':
    import argparse
    ap = argparse.ArgumentParser()
    ap.add_argument('csv_path')
    ap.add_argument('--expect-city', default='')
    ap.add_argument('--expect-kw', default='')
    a = ap.parse_args()
    sys.exit(check(a.csv_path, a.expect_city, a.expect_kw))
```

**实测验证：**

| 输入 | 字段完整度 | 结果 | 退出码 |
|---|---|---|---|
| C 城市错数据 48 条 | **全部 100%** | `[FAIL]` 城市不符、命中 2% | **1** |
| D 城市正确数据 120 条 | 全部 100% | `[OK]` 命中 96% | 0 |

**注意第一行的字段完整度，全是 100%。** 只跑到字段检查就停下，会判定一切正常。

而退出码非 0 这件事很关键——**不管脚本有没有抛异常，数据不对就必须非 0。** 这样 CI 流水线、定时任务才能感知到失败。

## 五、不知道期望值怎么办：先建基线

第一次抓新站点时，确实不知道该有多少条。这时候先抓一次，用这几条指标做基线：

| 基线指标 | 我的实际值 | 掉了说明什么 |
|---|---|---|
| 单次首屏条数 | 15 | 被限流，或者站点改版 |
| 滚动后总量 | 120 | 分页坏了 |
| 关键字命中率 | 96% | 查询词没生效 |
| 城市唯一数 | 1 | 半路被改写 |

基线跑三次取稳定值，之后每轮对比。掉出阈值就报错。

**但基线只能发现「变化」，发现不了「从一开始就错」。** 所以第一次抓完还是要人工抽查几条。

## 六、这套方法解决不了什么

必须说清边界，否则会误用：

| 问题 | 症状 | 这套脚本能发现吗 |
|---|---|---|
| 语义错（本次案例）| 值不对但结构完整 | **能** |
| 站点改版 | 抓到 0 条 | 不能 |
| 数据过期 | 值对但是去年的 | 不能 |
| 业务规则错 | 字段对，筛选逻辑错 | 不能 |

后三种要靠另外的手段：改版要定期比对关键 DOM、数据要校验时间戳、业务规则要业务方自己定义断言。

## 七、接入 CI 的建议

如果你的采集跑在 CI 或定时任务里，把校验做成最后一步：

```yaml
# 伪配置
- run: python crawl.py --out data.csv
- run: python check_result.py data.csv --expect-city D城市 --expect-kw python
# 退出码非 0 → 流水线失败 → 告警触发
```

**关键点：校验必须和抓取在同一条流水线里，且校验失败要让整条流水线失败。** 否则你只是多了一份没人看的报告。

## 总结

**爬虫的验收标准不是「跑通了」，是「数据对了」。**

而判断「数据对了」的唯一办法，是**你先把「我要什么」写成一条可判定的断言**。写不出来，说明需求本身还没想清楚，这时候抓下来的数据不可能对。

---

## 测试边界

本文所有数据均为本人实测，测试环境：1 台机器、1 个 IP、3 个站点。

**所以结论是「我实测的三个站点」，不是「所有站点」。** 同一个框架在不同站点结果可能完全相反。

做云上数据采集的同学大概都遇到过这种情况：脚本正常退出、日志没有 ERROR、CSV 正常落盘，然后数据用不了。本文用一个真实案例说明——字段完整度 100% 的数据，依然可能是完全错的，并给出一个 30 行、可直接复用的校验方案。

爬虫静默失败排查：数据抓回来了，但是错的

做云上数据采集的同学大概都遇到过这种情况：脚本正常退出、日志没有 ERROR、CSV 正常落盘，然后数据用不了。本文用一个真实案例说明——**字段完整度 100% 的数据，依然可能是完全错的**，并给出一个 30 行、可直接复用的校验方案。

字段完整度100%不等于数据正确，本文用真实案例说明语义错误如何绕过常规校验，并提供30行Python校验脚本，通过比对期望值而非字段填充率，让CI流水线在数据不可用时非0退出，附基线建立与边界说明。

代码解释

数据库

Python

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

爬虫静默失败排查：数据抓回来了，但是错的-腾讯云开发者社区-腾讯云

爬虫静默失败排查：数据抓回来了，但是错的

爬虫静默失败排查：数据抓回来了，但是错的

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐