文章/答案/技术大牛

发布

社区首页 >问答首页 >我的网站被抓取了吗？

问我的网站被抓取了吗？
EN

Stack Overflow用户

提问于 2018-01-30 14:53:46

回答 1查看 156关注 0票数 0

我有一个托管在DigitalOcean & nginx & ubuntu服务器上的mean-stack网站。

在该网站中，有一个带有按钮的网页，允许用户向我发送消息：

<button type="submit" class="btn btn-lg btn-theme" ng-click="mySubmit()">Send Message</button>

在控制器中：

$scope.mySubmit = function () {
    return $http.post('/httpOnly/request/addRequest', { "name": $scope.name, "mail": $scope.mail, "message": $scope.message })
}

然后，在后端，它使用https://github.com/sendgrid/sendgrid-nodejs向我发送电子邮件。

以前，一切都很好。然而，在一周的时间里，我每天都会收到7封带有undefined值的邮件。这7封邮件几乎每天都在同一时间到达。

有人知道发生了什么吗？我的网站被抓取了吗？有没有办法证明这一点？

web-crawler

mean-stack

digital-ocean

sendgrid

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-01-30 15:00:28

答案几乎肯定是肯定的。您应该能够通过检查nGinx日志并查找标准的bot用户代理字段来验证这一点。

被好的机器人抓取(为了出现在搜索引擎中可能是合乎需要的)和被坏的机器人发送垃圾邮件是有区别的。这些通常只是简单地试图发布到博客评论，带有垃圾链接的部分，等等。

要管理机器人抓取你的商品，你应该使用robots.txt。

另一方面，糟糕的机器人不会尊重robots.txt，甚至可能欺骗他们的用户代理，所以你不能阻止他们使用它。

验证码或recaptcha挑战将会起作用。或者，考虑使用Cloudflare帐户。他们在互联网和你的网站之间实现了一个可配置的web应用程序防火墙，并自动阻止许多这种类型的活动。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48515564

复制

相似问题

问我的网站被抓取了吗？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我的网站被抓取了吗？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我的网站被抓取了吗？
EN