移动端 | 加入收藏 | 设为首页 | 我要投稿 | 赞助本站 | RSS
 

freefq.comfree——免费、自由fq——翻墙

困在墙内,请发邮件到freefqcom#gmail.com获得最新免费翻墙方法!
您当前的位置:首页 > 网络翻墙技巧

如何屏蔽华为的搜索引擎爬虫?

时间:2020-09-16  来源:  作者:
原题: 华为的 AspiegelBot 或者说 Petalbot

前些日子,屏蔽了一些 IP ,在做了一些研究后,发现这些都是来自华为。MDI免费翻墙网

一直以来,都认为华为只是做硬件,做软件,还没想到它们还要做搜索。可惜的是,他们一如既往的不按规矩来,过度的抓取,以及完全不考虑被抓取的网站的性能影响。MDI免费翻墙网

打开 http://aspiegel.com/en/about/ 网页,可以看到写着。MDI免费翻墙网

Aspiegel: The HUAWEI Mobile Services (international) are provided by Aspiegel Limited.MDI免费翻墙网

如果继续,打开 http://aspiegel.com/en/how-petal-search-works/ 网页,可以看到Petal Search 的相关介绍。MDI免费翻墙网

所以华为搜索引擎,就是 Aspiegel 搜索,现在改名成为了 Petal Search。就是一回事。MDI免费翻墙网

 MDI免费翻墙网

 MDI免费翻墙网

petal-search.jpgMDI免费翻墙网

根据 Hyypernode.com 主机商的情况报导,华为的搜索引擎蜘蛛对他们的用户的影响,很多人抱怨,机器人淹没了他们的网站,在线服务因被 AspiegelBot 的流量淹没而无法使用。MDI免费翻墙网

如何屏蔽华为的蜘蛛、机器人

一般就是两种办法。MDI免费翻墙网

1) 用 Robots.txt 设置,禁用它。


User-agent: PetalBot
Disallow: /

2) 在 nginx 配置中禁用

这个就比较简单粗暴了,用来对付那些不遵守 robots.txt 规范的爬虫,蜘蛛是最合适不过了。MDI免费翻墙网

在配置文件中,加上一段禁用 IP 地址。MDI免费翻墙网

deny 114.119.160.251;

如何知道这个 IP 地址是来自于 华为 / AspiegelBot / PetalBot 呢?

davidyin@sunflower:~$ host 114.119.160.251
251.160.119.114.in-addr.arpa domain name pointer petalbot-114-119-160-251.aspiegel.com.

这就可以看到 petalbot 的字样,以及来自 aspiegel.com。MDI免费翻墙网

通常我的做法,就是上面的第二种,一般我的网站的 robots.txt 的写法就是对于所有的 bot 都生效的,也就是允许,某些特别的页面会禁止抓取。MDI免费翻墙网

对于那些滥用资源,过度抓取,消耗大量服务器资源的蜘蛛,在我看来,已经类似 Dos 或者 DDos 攻击了。根据我的了解,他们对于 robots.txt 规范也不会尊重的。所以就不浪费时间,直接在 nginx 服务器这里就禁用了。MDI免费翻墙网

来顶一下
返回首页
返回首页
欢迎评论:免登录,输入验证码即可匿名评论 共有条评论
用户名: 密码:
验证码: 匿名发表

推荐资讯

SpeedUp VPN - 兼容SSR的免费高速VPN(自带节点)
SpeedUp VPN - 兼容SS
VPN Gratis Ilimitado - Brasil, Chile, Argentina
VPN Gratis Ilimitado
苹果手机iphone的iOS版赛风浏览器
苹果手机iphone的iOS版
SGreen VPN-Simple Green & Safe下载链接
SGreen VPN-Simple Gr
相关文章
栏目更新
栏目热门
墙外新闻
读者文摘

你可以访问真正的互联网了。You can access the real Internet.

管理员精中特别提醒:本网站域名、主机和管理员都在美国,且本网站内容仅为非中国大陆网友服务。禁止中国大陆网友浏览本站!若中国大陆网友因错误操作打开本站网页,请立即关闭!中国大陆网友浏览本网站存在法律风险,恳请立即关闭本站所有页面!对于您因浏览本站所遭遇的法律问题、安全问题和其他所有问题,本站均无法负责也概不负责。

特别警告:本站推荐各种免费科学上网软件、app和方法,不建议各位网友购买收费账号或服务。若您因付费购买而遭遇骗局,没有得到想要的服务,请把苦水往自己肚子里咽,本站无法承担也概不承担任何责任!

本站严正声明:各位翻墙的网友切勿将本站介绍的翻墙方法运用于违反当地法律法规的活动,本站对网友的遵纪守法行为表示支持,对网友的违法犯罪行为表示反对!

网站管理员定居美国,因此本站所推荐的翻墙软件及翻墙方法都未经测试,发布仅供网友测试和参考,但你懂的——翻墙软件或方法随时有可能失效,因此本站信息具有极强时效性,想要更多有效免费翻墙方法敬请阅读本站最新信息,建议收藏本站!本站为纯粹技术网站,支持科学与民主,支持宗教信仰自由,反对恐怖主义、邪教、伪科学与专制,不支持或反对任何极端主义的政治观点或宗教信仰。有注明出处的信息均为转载文章,转载信息仅供参考,并不表明本站支持其观点或行为。未注明出处的信息为本站原创,转载时也请注明来自本站。

鉴于各种免费翻墙软件甚至是收费翻墙软件可能存在的安全风险及个人隐私泄漏可能,本站提醒各位网友做好各方面的安全防护措施!本站无法对推荐的翻墙软件、应用或服务等进行全面而严格的安全测试,因此无法对其安全性做保证,无法对您因为安全问题或隐私泄漏等问题造成的任何损失承担任何责任!

S. Grand Ave.,Suite 3910,Los Angeles,CA 90071

知识共享许可协议
本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。