首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用cURL从其他网站获取javascript生成的内容?

问如何使用cURL从其他网站获取javascript生成的内容?
EN

Stack Overflow用户
提问于 2013-06-13 06:28:47
回答 2查看 4.2K关注 0票数 1

基本上,页面会生成一些动态内容,我希望获得这些动态内容,而不仅仅是静态的html。我不能用cURL做到这一点。请帮帮忙。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2013-06-13 07:33:12

您可以在http://seleniumhq.org上尝试selenium,它支持js。

票数 0
EN

Stack Overflow用户

发布于 2013-06-13 06:44:12

你不能只用cURL。

cURL将从网站抓取特定的原始(静态)文件,但是要获得javascript生成的内容,您必须将这些内容放入一个类似浏览器的环境中,该环境支持javascript和javascript使用的所有其他主机对象,以便脚本能够运行。

然后,一旦脚本运行,您就必须访问DOM以从中获取所需的任何内容。

这就是为什么大多数搜索引擎不索引javascript生成的内容。这并不容易。

如果这是一个您正在尝试收集信息的特定站点,您可能需要查看该站点本身是如何获取数据的,并查看是否无法直接从该来源获取数据。例如,数据是嵌入在页面中的JS中(在这种情况下,您可以直接解析出JS),还是从ajax调用(在这种情况下,您可以直接调用ajax )或其他方法获得的JS。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/17076447

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档