为什么前向DNS需要验证爬行器？
从谷歌的支持网站-
若要将Googlebot验证为调用方： 使用主机命令，从日志中对访问IP地址运行反向DNS查找。验证域名是否位于googlebot.com或google.com中，使用检索到的域名上的主机命令对步骤1中检索的域名执行正向DNS查找。验证它是否与从日志中访问IP地址的原始地址相同。
我的问题是为什么前向DNS查找是必要的？攻击者能否创建表单crawl-xx-xx-xx-xx.googlebot.com的DNS记录？
我实际上在我的日志中看到了这个--从其他爬行者那里也看到了。IP的意思是，如果我反向DNS查找来自正确的域，但正向查找不返回IP。想知道这怎么可能..。
回答 1
Stack Overflow用户
发布于 2017-09-25 17:35:54
任何人都可以使用反向区域。如果您拥有IP空间，并让您的isp转发反向查找，您可以提供一个指向任何您想要的反向区域。
作为一个攻击者，我可以购买任何IP块并服务于我的区域4.3.2.1.in-addr.arpa，其中显示所有记录都在crawl-xx-xx-xx-xx.googlebot.com中。
不过，我无法控制谷歌为该区域提供的转发dns。因此，即使我可以对1.2.3.4进行反向查找以返回crawl-12-34-56-78.googlebot.com，但不能对crawl-12-34-56-78.googlebot.com进行正向查找以返回1.2.3.4。
日志中不一致的条目几乎可以肯定是第三方机器人试图(很好)模仿google。
https://stackoverflow.com/questions/46410862
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号