那些每秒抓取数万次的系统，底层架构到底是怎么设计的？

本文以日均8亿网页采集需求切入，拆解支撑万级QPS抓取系统的五层架构：URL调度层（Kafka+Bloom Filter去重）、下载层（Go连接复用、DNS缓存、HTTP/2）、代理管理层、解析层（80/15/5分层）与数据管道（OSS+ClickHouse）。核心结论：瓶颈在I/O而非CPU，DNS缓存与连接复用比加机器划算。代理层以隧道代理为实测对象，配合自建调度逻辑，可将采集效率提升。