jackcode

文章/答案/技术大牛

发布

LV0

发表了文章 26天前2026-09-14 15:06:41

告别 ELK 账单刺客：用 ClickHouse + 隧道代理搭建百亿级爬虫观测底座

去年年中，我们团队负责的一套分布式爬虫集群单日抓取量突破了 8000 万次。随之而来的不是业务增长的喜悦，而是基础设施层面的全面告警。

jackcode 26天前2026-09-14 15:06:41

动态代理、clickhouse、云数据库 MySQL、运维自动化、python爬虫

发表了文章 2026-09-082026-09-08 16:29:28

爬虫健康度看板：如何实时监控抓取成功率、响应时间与异常占比

去年双十一前夜，凌晨两点，业务方在群里甩了句"数据怎么今天只有昨天三分之一"。我爬起来一看，爬虫进程活着，日志里没有任何 ERROR，CPU 和内存都很平静。它...

jackcode 2026-09-082026-09-08 16:29:28

动态代理、数据挖掘、http、python爬虫、python

发表了文章 2026-08-192026-08-19 11:40:12

爬虫调度系统设计：用 Celery 实现按媒体权重动态调整的抓取频率控制

做舆情采集的朋友大多遇到过这个两难：固定频率去抓全网媒体，要么低频漏掉突发热点，要么高频把代理流量烧光还被站点限流。我之前一套系统就是这么垮的——所有媒体一刀切...

jackcode 2026-08-192026-08-19 11:40:12

python爬虫、动态代理、celery、大数据、数据分析

发表了文章 2026-08-062026-08-06 15:25:15

爬完别忘了存：社交媒体快照上 OSS/S3 的 4 个必做优化

去年帮一个客户做品牌舆情留存，要每天把 3 万条微博和小红书笔记的 HTML 原件全量存下来，保留 90 天，防止博主删帖改帖后证据丢失。第一版方案很简单：爬虫...

jackcode 2026-08-062026-08-06 15:25:15

大数据处理、动态代理、数据挖掘、大数据、大数据存储

发表了文章 2026-07-292026-07-29 14:50:45

架构师视角：如何设计一套高扩展性的通用爬虫中间件系统？

我在三家公司当过"那个写爬虫的人"。每次别人说"帮忙搭个爬虫"，真实需求其实都不一样。A 组要电商比价，B 组要新闻聚合，C 组要在登录态里抓订单。如果你按需求...

jackcode 2026-07-292026-07-29 14:50:45

架构师、中间件、队列、框架、python爬虫

发表了文章 2026-07-272026-07-27 11:31:14

那些每秒抓取数万次的系统，底层架构到底是怎么设计的？

去年有个项目，需求听着不复杂：每天采集大概8亿个网页。算一下就是平均9000+ QPS，峰值可能到2万到3万。我当时的反应是"用Scrapy加几个代理不就行了"...

jackcode 2026-07-272026-07-27 11:31:14

redis、keepalived、架构、云解析 DNS、kafka

发表了文章 2026-07-232026-07-23 15:08:30

如何设计一套高可用的爬虫任务队列，保证断点续爬与故障转移？

先说结论，再说为什么。这篇文章解决的问题是：你的爬虫跑到一半机器挂了，或者代理 IP 突然大面积失效，怎么保证任务不丢、不重、能从上次断的地方接着爬。

jackcode 2026-07-232026-07-23 15:08:30

redis集群、celery、自动化运维、网页爬虫、python爬虫

发表了文章 2026-07-222026-07-22 15:00:47

深入内存优化：如何防止分布式爬虫在长时运行中导致的内存暴涨？

重启，跑了一个小时，又炸了。看 Grafana 曲线，内存像楼梯一样一格格往上走，中间偶尔 GC 回落一点，但总体趋势是不回头地涨。我盯着那条曲线看了十分钟，心...

jackcode 2026-07-222026-07-22 15:00:47

内存管理、分布式、python爬虫、python-requests、动态代理

发表了文章 2026-07-162026-07-16 16:06:50

Canvas/Audio 浏览器指纹：从原理到绕过，一次讲清楚

先说结论：如果你在做数据采集，IP 轮换只是过了第一关。现在的大站反爬，真正拦你的不是 IP 频率，是浏览器指纹。而 Canvas 和 AudioContext...

jackcode 2026-07-162026-07-16 16:06:50

canvas、audio、浏览器、自动化测试工具、动态代理

发表了文章 2026-07-142026-07-14 14:32:12

免费代理IP为什么用不了：代理池的可用性检测与生命周期管理

先说结论，再说为什么。免费代理的问题不在"质量差"，而在它的衰减速度超过了你的补充速度。你花一上午爬了 5000 个代理，跑完验证剩大概 80 个，上线两小时还...

jackcode 2026-07-142026-07-14 14:32:12

网络通信、python、动态代理、代理服务器、网络协议

发表了文章 2026-07-132026-07-13 16:02:36

为什么爬虫并发拉到几百，吞吐反而掉了？记一次高并发爬虫性能瓶颈排查与实战

很多做过数据采集和爬虫扩容的兄弟，几乎都经历过这样一个令人抓狂的场景：你手里有一个刚写好的爬虫，开 20 个并发的时候，每秒能稳稳当当地处理 15 个页面。为...

jackcode 2026-07-132026-07-13 16:02:36

多进程、消息队列、python爬虫、高并发、html

发表了文章 2026-07-092026-07-09 15:05:43

2026架构前沿：将Declarative Crawler（声明式爬虫）引入你的技术栈

大家好，今天我们在 Mac mini 的终端前，来聊聊 2026 年数据工程领域的一个重要架构演进。

jackcode 2026-07-092026-07-09 15:05:43

python爬虫、动态代理、网页爬虫、python、requests

发表了文章 2026-07-072026-07-07 14:49:30

技术拆解：单页面应用（SPA）路由跳转后的数据抓取策略

爬虫开发者第一次撞上 SPA（Single Page Application），通常是这种场景：浏览器里点一个分类标签，列表刷出来了；用 requests 拉同...

jackcode 2026-07-072026-07-07 14:49:30

动态代理、异步、dom、自动化测试工具、数据采集

发表了文章 2026-07-062026-07-06 14:31:09

爬虫实战：如何优雅地抓取网页中隐藏在伪元素(::before)里的文本？

相信很多写过一段时间爬虫的同学大概率撞过这堵“隐形墙”：在浏览器里明明白白显示着"￥9.9"的价格，或者一段验证码文本，但当你切换到 DevTools 时，发现...

jackcode 2026-07-062026-07-06 14:31:09

python、网页爬虫、beautifulsoup、xpath、python爬虫

发表了文章 2026-07-022026-07-02 13:44:27

手把手带你用Python撸一个多线程+代理池下载器

做数据采集的同行们，在爬虫进阶的路上肯定都遇到过这个瓶颈：当目标数据量从几百条飙升到十万级别，尤其是涉及图片、视频等多媒体文件时，普通的单线程下载不仅慢得让人怀...

jackcode 2026-07-022026-07-02 13:44:27

下载分发加速、动态代理、python爬虫、python、多线程

发表了文章 2026-07-012026-07-01 15:29:35

谈谈长连接（Keep-Alive）在超大规模爬虫抓取中的性能差距

大家好，欢迎回到我的技术专栏。在日均抓取量突破千万级别的爬虫场景里，连接管理是决定单机 QPS 和机器成本的关键因素。很多团队在初期用短连接跑得很顺，但当规模膨...

jackcode 2026-07-012026-07-01 15:29:35

动态代理、性能优化、python3、http、tls

发表了文章 2026-06-302026-06-30 14:40:31

实战：利用Playwright隐藏自动化特征（Stealth模式）的底层原理

大家好，今天我们来聊聊自动化爬虫中一个非常让人头疼的问题。很多兄弟经常遇到这样的场景：用Playwright写好的爬虫代码，本地跑得好好的，一放到服务器上就被目...

jackcode 2026-06-302026-06-30 14:40:31

python爬虫、python、playwright、自动化测试、浏览器

发表了文章 2026-06-292026-06-29 14:04:04

深度对比：Scrapy vs PySpider，谁更适合作为企业级分布式底层？

搭建一个日产千万级页面的企业级分布式爬虫系统，框架选型往往是决定项目生死的第一步。在 Python 生态中，Scrapy 和 PySpider 是提及率最高的两...

jackcode 2026-06-292026-06-29 14:04:04

python爬虫、动态代理、scrapy、pyspider、python

发表了文章 2026-06-252026-06-25 13:59:33

别只盯着HTML了！教你高效抓取并解析PDF/Excel隐藏附件？

在日常的数据采集工作中，大家可能会发现一个痛点：大多数的爬虫教程只教你怎么抓取HTML页面的数据。但在实际的业务场景里，像央行年报、政府公开数据、证券交易记录以...

jackcode 2026-06-252026-06-25 13:59:33

excel、html、python-requests、python、pdf

发表了文章 2026-06-242026-06-24 14:59:55

告别频繁崩溃与OOM：百万级Scrapy爬虫架构优化

不知道大家在日常开发中，有没有遇到过这种极其抓狂的场景：写了个 Scrapy 爬虫，跑十万级规模的项目稳如老狗，一旦把目标定到百万级页面，系统就开始疯狂“作妖”...

jackcode 2026-06-242026-06-24 14:59:55

scrapy、python爬虫、架构设计、动态代理、浏览器

12 3 4 5 6 7 8...27 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2020-09-11

个人成就

获得 719 次赞同
文章被阅读 630.7K 次

关注了：4关注者：27