我可以使用robots.txt将机器人发送到特定的文件夹吗？
我可以使用robots.txt将机器人发送到特定的文件夹吗？
提问于 2013-06-14 10:12:45
因此，我在同一个域中有一个常规网站和一个博客。在未来，我计划为博客购买一个专门的域名，但现在这就是我要做的。
博客在目录/blog中，没有从主站点到博客的链接。所以我假设机器人就是无法到达那里。
有没有办法使用robots.txt将机器人发送到特定的目录？除了在主站点上放一个链接之外，还有其他的解决方案吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2013-06-14 10:15:33
您可能希望使用站点地图来实现这一点
机器人排除标准，也称为机器人排除协议或robots.txt协议，是一种约定，用于防止合作的网络爬虫程序和其他网络机器人访问所有或部分其他公开可见的网站。机器人经常被搜索引擎用来对网站进行分类和存档，或者被网站管理员用来校对源代码。该标准与Sitemaps不同，但可以与之结合使用，websites是网站的机器人包含标准。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/17100094
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号