文章/答案/技术大牛

发布

社区首页 >问答首页 >Django robot.txt错误

问Django robot.txt错误
EN

Stack Overflow用户

提问于 2013-06-16 02:43:01

回答 2查看 312关注 0票数 0

出于测试目的，我正在尝试禁用所有访问我的开发服务器的web爬虫，使用robot.txt

当我在浏览器中输入127.0.0.1:8000/robot.txt时。为什么robot.txt没有出现在我的浏览器中？

Page not found (404)
127.0.0.1:8000/robot.txt

urls.py：

  from django.http import HttpResponse

  (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")),

django

回答 2

Stack Overflow用户

回答已采纳

发布于 2013-06-16 02:45:43

您正在尝试访问robot.txt，而不是robots.txt。

您应该访问http://localhost/127.0.0.1:8000/robots.txt

票数 1

Stack Overflow用户

发布于 2015-05-07 00:13:11

顺便说一下，它应该在urls.py中，而不是在views.py中。

如下所示：

from django.http import HttpResponse

urlpatterns = patterns('',
    ...
    (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain"))
)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/17126822

复制

相似问题

问Django robot.txt错误
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Django robot.txt错误EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Django robot.txt错误
EN