文章/答案/技术大牛

发布

社区首页 >问答首页 >我的robots.txt和.htaccess出了什么问题，导致谷歌抓取失败

问我的robots.txt和.htaccess出了什么问题，导致谷歌抓取失败
EN

Stack Overflow用户

提问于 2014-04-22 13:43:30

回答 1查看 324关注 0票数 0

这是我的robots.txt

User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/3.1
Disallow: /

User-agent: Yahoo-slurp
Disallow: /

User-agent: Msnbot
Disallow: /

User-Agent: msnbot/2.0b
Disallow: /

User-agent: Googlebot
Allow: /
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/

User-agent: *
Disallow: /

ANd我的htaccess文件

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

SetEnvIfNoCase User-Agent "^Bandit" bad_bot
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "^Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" bad_bot
SetEnvIfNoCase User-Agent "^ezooms/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Ezooms/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Mail.RU_Bot/2.0" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot/v1.4.3" bad_bot
SetEnvIfNoCase User-Agent "^Sosospider" bad_bot
SetEnvIfNoCase User-Agent "^Sosospider/2.0" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot" bad_bot
SetEnvIfNoCase User-Agent "^Yandex/1\.01\.001" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot/3\.0" bad_bot
SetEnvIfNoCase User-Agent "^YandexBot/3.0" bad_bot
SetEnvIfNoCase User-Agent "^MSNBot" bad_bot
SetEnvIfNoCase User-Agent "^bingbot" bad_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" bad_bot

Order Allow,Deny
Allow from All
Deny from env=bad_bot

谷歌在所有可能的事情上都失败了。我在头文件中没有content="noindex“，或者其他什么东西。

这个可以吗？

User-agent: *
Disallow: /

有问题吗？

我听说如果它最后比它的ok，但如果它的问题，我会删除它。

.htaccess

robots.txt

回答 1

Stack Overflow用户

发布于 2015-06-01 05:55:35

User-agent: *
Disallow: /

去掉它就行了

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/23211285

复制

相似问题

问我的robots.txt和.htaccess出了什么问题，导致谷歌抓取失败
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我的robots.txt和.htaccess出了什么问题，导致谷歌抓取失败EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我的robots.txt和.htaccess出了什么问题，导致谷歌抓取失败
EN