# 从零构建YouTube评论爬虫：TKinter + Pandas + 反反爬全解析

> 对应仓库：github.com/mashukui/ytb_cmt_spider

## 引言

YouTube 作为全球最大的视频平台，其评论区蕴藏着大量用户反馈和舆情数据。然而 YouTube 官方 API 有严格的配额限制，每天仅提供 10,000 单位的配额，对于大规模数据采集需求来说远远不够。

本文将详细介绍如何利用 Python 构建一个完整的、可直接交付用户的 YouTube 评论采集工具，涵盖 GUI 界面、数据流水线、软件保护与授权管理等关键技术点。

## 技术架构总览

```
┌─────────────────────────────────────────────────┐
│                  TKinter GUI                     │
│  ┌──────────┐  ┌──────────┐  ┌───────────────┐  │
│  │ 登录窗口  │  │ 参数配置  │  │ 实时日志输出    │  │
│  └──────────┘  └──────────┘  └───────────────┘  │
├─────────────────────────────────────────────────┤
│                业务逻辑层                         │
│  ┌──────────┐  ┌──────────┐  ┌───────────────┐  │
│  │ 用户认证  │  │ 评论爬取  │  │ 数据转换导出   │  │
│  └──────────┘  └──────────┘  └───────────────┘  │
├─────────────────────────────────────────────────┤
│                 数据存储层                        │
│  ┌──────────┐  ┌──────────┐  ┌───────────────┐  │
│  │  MySQL   │  │   JSON   │  │  CSV / XLSX   │  │
│  │ (远程认证) │  │ (临时存储) │  │  (最终输出)    │  │
│  └──────────┘  └──────────┘  └───────────────┘  │
└─────────────────────────────────────────────────┘
```
## 软件界面概览
![image.png](https://developer.qcloudimg.com/http-save/yehe-10925854/791a7333a75e8a5e1281c40a0ba2017b.png)


## 一、GUI 层：TKinter 双窗口设计

整个应用采用**双窗口模式**：登录窗口 → 主工作窗口，两者通过 `root_login.destroy()` 和 `create_spider_root()` 实现平滑切换。

### 1.1 登录窗口

相关代码：
```python
def create_login_root():
    root_login = tk.Tk()
    root_login.title('爬油管评论软件v3.3')
    root_login.minsize(width=400, height=300)

    # 记住上次登录的用户信息
    if os.path.exists(cfg_path + 'userinfo.txt'):
        with open(cfg_path + 'userinfo.txt', 'r') as f:
            userinfos = f.readlines()
            entry_username.insert(0, str(userinfos[0]).strip())
            entry_password.insert(0, str(userinfos[1]).strip())
```

这里有几个设计细节值得注意：

- **凭据持久化**：将用户名和密码明文写入本地 `userinfo.txt`，下次启动时自动填充，减少用户重复输入。虽然从安全角度看明文存储不够严谨，但对于面向非技术用户的桌面工具，这是一个务实的取舍。
- **配置文件隐藏**：配置路径选择在 `node_modules/jsdom/lib/jsdom/living/xhr/` 下，利用 node_modules 目录"不会被普通用户轻易翻看"的特点来做简单隐藏。

### 1.2 主工作窗口

主窗口使用 `ttk.LabelFrame` 进行分区布局，核心控件包括：

| 控件 | 类型 | 用途 |
|------|------|------|
| `comment_num` | `tk.Spinbox` | 爬取数量，-1 表示全量 |
| `order_type` | `ttk.Combobox` | 排序方式（按日期/按热门） |
| `txt_msglist` | `tk.Text` + `Scrollbar` | 实时滚动日志 |

### 1.3 多线程防止UI冻结

爬取任务是IO密集型操作，如果在主线程中执行会导致界面卡死。这里自定义了 `MyThread` 类：

```python
class MyThread(threading.Thread):
    def __init__(self, func, *args):
        super().__init__()
        self.func = func
        self.args = args
        self.setDaemon(True)   # 守护线程，主程序退出时自动销毁
        self.start()           # 创建即启动

    def run(self):
        self.func(*self.args)
```

将耗时任务放入子线程，通过 `setDaemon(True)` 确保主窗口关闭时爬取线程不会成为僵尸进程。线程间的 UI 更新通过共享的 `txt_msglist` Text 控件完成，使用 `delete + insert` 的方式刷新日志内容。

## 二、爬虫核心：第三方库的使用与优化

### 2.1 基础调用

```python
from youtube_comment_downloader import YoutubeCommentDownloader, SORT_BY_POPULAR, SORT_BY_RECENT

downloader = YoutubeCommentDownloader()
comments = downloader.get_comments_from_url(
    'https://www.youtube.com/watch?v={}'.format(video_id),
    sort_by=SORT_BY_RECENT  # 或 SORT_BY_POPULAR
)
```

`youtube_comment_downloader` 是一个轻量级的第三方库，它模拟浏览器请求直接从 YouTube 页面抓取评论，**不需要 YouTube Data API key**，也因此不受API配额限制。这是选择它而非官方API的核心原因。

### 2.2 数量控制与惰性求值

```python
from itertools import islice

if self.comment_num != '-1':
    comment_num2 = int(self.comment_num)
    comments = islice(comments, comment_num2)  # 取出 TOP N
```

这里使用了 `itertools.islice` 而非直接切片。因为 `get_comments_from_url` 返回的是**生成器**，数据按需加载。`islice` 在达到指定数量后直接停止迭代，不会浪费流量拉取多余的评论，这对于网络请求来说至关重要——每一条额外的评论都是一次 HTTP 往返。

### 2.3 逐条落盘策略

```python
for comment in comments:
    with open('./jsons/{}.json'.format(video_id), 'a+', encoding='utf-8') as f:
        f.write(json.dumps(comment, ensure_ascii=False))
        f.write('\n')
```

**关键设计决策：边爬边写**。如果将评论全部收集到内存中再一次写入，一旦程序中途崩溃，之前爬取的数据将全部丢失。逐条追加写入的方式实现了**断点续传的效果**——即使程序异常退出，已写入的 JSON 行也不会丢失。

这里每条评论写成一行 JSON（JSONL 格式），便于后续用 `pd.read_json(lines=True)` 快速读取。

## 三、数据流水线：JSON → CSV → XLSX

### 3.1 JSONL 到 DataFrame

```python
df = pd.read_json('./jsons/{}.json'.format(video_id), lines=True)
df.drop(['photo', 'heart', 'reply'], axis=1, inplace=True)
if 'paid' in df.columns:
    df.drop(['paid'], axis=1, inplace=True)
```

原始评论数据中包含了 `photo`（头像）、`heart`（点赞）、`reply`（回复内容）等字段，这些对大多数分析场景无用，而且 `reply` 是嵌套结构，直接导出到二维表格会引发格式问题，因此提前剔除。

特别注意 `paid` 字段的处理：它只在某些特定评论中出现（如付费置顶评论），如果直接 `drop` 可能导致 `KeyError`，所以使用 `if 'paid' in df.columns` 先做判断。

### 3.2 时间戳转换的坑

```python
def trans_time(self, v_timestamp):
    """10位时间戳转换为时间字符串"""
    v_timestamp = int(str(v_timestamp)[:10])
    timeArray = time.localtime(v_timestamp)
    otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
    return otherStyleTime

df['time2'] = df['time_parsed'].apply(
    lambda x: self.trans_time(x) if pd.notna(x) else x
)
```

这里有两个细节值得展开：

1. **为什么取前10位？** YouTube 返回的时间戳可能是毫秒级（13位）也可能是秒级（10位），`[:10]` 统一截断为 10 位秒级时间戳。
2. **为什么要判断 `pd.notna(x)`？** 某些评论的 `time_parsed` 字段可能为 `NaN`，此时 `int(str(x)[:10])` 会抛出 `ValueError: invalid literal for int() with base 10: 'nan'`。v3.3 版本正是修复了这个 bug。

### 3.3 追加模式写入 CSV

```python
if os.path.exists(self.result_file1):
    header = False
else:
    header = True
df.to_csv(self.result_file1, index=False, mode='a+', encoding='utf_8_sig', header=header)
```

多个视频的评论写入同一个 CSV 文件时，只在**第一次写入时写表头**，后续写入仅追加数据行。`utf_8_sig` 编码确保 Excel 打开时中文不乱码。

### 3.4 CSV → XLSX 最终输出

```python
df2 = pd.read_csv(self.result_file1)
df2['replies'].fillna(0, inplace=True)
df2.to_excel(self.result_file2, index=False)
```

将 `replies`（回复数）字段的空值填充为 0，使数据在 Excel 中展示更整洁。

## 四、软件保护与授权

授权逻辑采用**三层验证**：

1. **用户凭证验证**：用户名 + 密码匹配
2. **有效期验证**：当前时间在 `end_time` 之前
3. **机器码绑定**：首次登录时绑定 CPU 序列号，后续登录验证机器码一致性，防止账号共享

获取 CPU 序列号的方式跨平台兼容：
- Windows：通过 `wmi` 库读取 `Win32_Processor.ProcessorId`
- macOS：通过 `system_profiler SPHardwareDataType` 命令提取 Serial Number

## 五、日志系统：按天滚动

```python
info_handler = TimedRotatingFileHandler(
    filename=case_dir + info_file_name,
    when='MIDNIGHT',
    interval=1,
    backupCount=7,
    encoding='utf-8'
)
```

使用 `TimedRotatingFileHandler` 而非 `RotatingFileHandler`，以时间为维度而非文件大小来切割日志。配置为每天午夜滚动一次，保留最近 7 天的日志。这样做的好处是出问题时可以快速定位到当天的日志文件，不会因为文件过大而难以排查。

## 六、软件演示
演示视频：
!video[【软件演示】python开发的youtube评论采集界面工具，适合小白！](https://cloud.tencent.com/developer/video/80531)

## END、总结

本文完整介绍了YouTube评论采集工具的工程实现，涵盖了从 TKinter GUI 到数据流水线再到软件保护的各个环节。核心的技术选型思路是**用轻量级爬虫库替代官方 API**，从而绕开配额限制实现大规模采集。代码虽然体量不大（不到 500 行），但包含了桌面应用开发中常见的关键模式：多线程调度、流式数据处理、跨平台兼容、以及商业软件的授权管理，希望对有类似需求的开发者有所启发。

更多交流或疑问，可前往`GitHub仓库Issue区`进行讨论。
> github.com/mashukui/ytb_cmt_spider/issues

---

*本文涉及的完整代码和数据仅供技术学习交流，请遵守目标网站的使用条款和相关法律法规。*


YouTube 作为全球最大的视频平台，其评论区蕴藏着大量用户反馈和舆情数据。然而 YouTube 官方 API 有严格的配额限制，每天仅提供 10,000 单位的配额，对于大规模数据采集需求来说远远不够。

从零构建YouTube评论爬虫：TKinter + Pandas + 反反爬全解析

讲解利用Python语言开发一款YouTube评论采集软件。

编程语言

大数据

学习如何用Python构建YouTube评论爬虫工具，绕过API配额限制，实现GUI界面、数据采集与导出功能。包含TKinter界面设计、多线程防卡顿、JSON转CSV/XLSX数据处理流程，以及软件授权保护机制。适合需要大规模采集YouTube评论数据的开发者参考。

数据转换

代码解释

数据存储

数据处理

日志文件

数据流

Windows

Python

GitHub

MySQL

JSON

9.9元起，最快1天搭建自有直播平台


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

从零构建YouTube评论爬虫：TKinter + Pandas + 反反爬全解析-腾讯云开发者社区-腾讯云

从零构建YouTube评论爬虫：TKinter + Pandas + 反反爬全解析

从零构建YouTube评论爬虫：TKinter + Pandas + 反反爬全解析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐