开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何自动下载网站的html源码

问如何自动下载网站的html源码
EN

Stack Overflow用户

提问于 2012-10-11 07:51:10

回答 1查看 1.8K关注 0票数 0

谁知道有什么程序，我可以输入一个域名，该程序将爬行整个域名，并能够为我下载所有的HTML源代码-因此，如果网站的网页上有链接，它将只爬行到该域名上的页面，而不是外部域名显然。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2012-10-11 07:53:34

看看python的scrapy：

http://www.scrapy.org

或用于java的crawler4j：

http://code.google.com/p/crawler4j/

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/12830193

复制

相似问题