文章/答案/技术大牛

发布

社区首页 >问答首页 >使用PyQuery请求网页按邮政编码搜索结果

问使用PyQuery请求网页按邮政编码搜索结果
EN

Stack Overflow用户

提问于 2013-07-02 03:08:58

回答 1查看 162关注 0票数 0

我是较新的爬虫数据。

现在我必须使用Pyquery在网站http://www.greatschools.org/find-schools中通过邮政编码抓取美国的学校信息

每次我输入一个邮政编码，搜索页面的URL是非常复杂的。我认为用Pyquery编写这种url是很困难的。

例如，当我输入邮政编码95113时，结果页面的url就是http://www.greatschools.org/search/search.page?lat=37.3326639&lon=-121.89183639999999&state=CA&locationType=postal_code&sortBy=DISTANCE&normalizedAddress=San+Jose%2C+CA+95113&totalResults=1&city=San+Jose&zipCode=95113&locationSearchString=95113&distance=5

我的问题是:如果我想从结果页抓取数据，如何使用Pyquery获取结果页？似乎我可以通过编程来创建搜索结果的url，但是创建它太长了，并且有数千个邮政编码要搜索。

有没有更好的解决方案？

python

web-crawler

pyquery

回答 1

Stack Overflow用户

发布于 2014-01-10 05:44:25

您可以使用：

PyQuery(url='http://')

然后与以下内容打架：

for a in doc('a').items():
    PyQuery(url=a.attr.href)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/17411893

复制

相似问题

问使用PyQuery请求网页按邮政编码搜索结果
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用PyQuery请求网页按邮政编码搜索结果EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用PyQuery请求网页按邮政编码搜索结果
EN