如何检测网页是否从Python中的Javascript动态呈现？
如何检测网页是否从Python中的Javascript动态呈现？
提问于 2021-03-12 18:18:57
我正在建立一个网络刮板，必须快速检索网页的文本，从HTML只。我使用的是Python、requests和BeautifulSoup。我想要检测网页内容是纯HTML还是从Javascript呈现的。在最后一种情况下，我只会返回一条错误消息，指出无法执行此操作。
我知道用于渲染Javascript的无头浏览器，但在这种情况下，我真的只需要以最快的方式检测它，而不必渲染它。
检测script标签是不可能的，因为每个网页上都有很多标签，这并不意味着文本内容必须用Javascript呈现。
有没有什么我可以在HTML中检查的，它可以准确地告诉我正文内容将从Javascript中呈现出来？
谢谢
回答 1
Stack Overflow用户
发布于 2021-03-13 23:23:26
在初始的DOM中没有预先显示站点是用js呈现的。下面是一些你可以尝试的东西：
- 分析几个网站，并根据页面的内容大小猜测使用js呈现站点的位置。
- 您还可以获取站点不同页面的html并比较内容长度(对于js呈现的站点，在任何代码是脚本的内容大小之前，不同页面的内容可能是相同/相似的，或者检测著名技术的脚本名称，如react、vue和angular
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66598057
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号