问Robots.txt -不允许所有页面，但允许所有子but
EN

Stack Overflow用户

提问于 2013-09-25 12:10:06

回答 1查看 639关注 0票数 1

有人可以告诉我如何写robots.txt文件。我需要不允许目录的所有页面，但我需要允许访问所有相关的子目录。你一定知道我不知道页面和子目录的名字..。它们是自动创建的。

例如：

不允许:/dir1 1/dir1 2/all-pages.html

允许:/dir1 1/dir1 2/all-子目录/

(对不起我的英语)

回答已采纳

发布于 2013-09-25 14:46:01

这应该可以做到：

Allow: /dir1/dir2/*/
Disallow: /dir1/dir2/

这应该适用于谷歌和必应。它是否适用于其他爬虫是一个悬而未决的问题，因为Allow和Disallow如何协同工作还没有统一的标准。但是，将Allow放在第一位将给您最佳的工作机会，因为许多爬虫使用“第一匹配规则”。所以他们会看到Allow并继续。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/19004536

复制

相似问题

问Robots.txt -不允许所有页面，但允许所有子butEN