基本上,页面会生成一些动态内容,我希望获得这些动态内容,而不仅仅是静态的html。我不能用cURL做到这一点。请帮帮忙。
发布于 2013-06-13 07:33:12
您可以在http://seleniumhq.org上尝试selenium,它支持js。
发布于 2013-06-13 06:44:12
你不能只用cURL。
cURL将从网站抓取特定的原始(静态)文件,但是要获得javascript生成的内容,您必须将这些内容放入一个类似浏览器的环境中,该环境支持javascript和javascript使用的所有其他主机对象,以便脚本能够运行。
然后,一旦脚本运行,您就必须访问DOM以从中获取所需的任何内容。
这就是为什么大多数搜索引擎不索引javascript生成的内容。这并不容易。
如果这是一个您正在尝试收集信息的特定站点,您可能需要查看该站点本身是如何获取数据的,并查看是否无法直接从该来源获取数据。例如,数据是嵌入在页面中的JS中(在这种情况下,您可以直接解析出JS),还是从ajax调用(在这种情况下,您可以直接调用ajax )或其他方法获得的JS。
https://stackoverflow.com/questions/17076447
复制相似问题