谷歌跟必应派了20w爬虫来，半天搞了我几十G流量-综合讨论-屌丝论坛

谷歌跟必应派了20w爬虫来，半天搞了我几十G流量

匿名 2021-12-18 2120

搬新机子了顺便开放robots，才两天就疯狂爬过来了。看了下统计这两败家玩意就占了将近一半的数量，今天百度360都降了20%了。我防火墙是默认拦截非浏览器的，更不存在镜像的说法，就觉得该禁国外的蜘蛛

我很懒，所以什么都没留下

最新回复 (6)

fly 2021-12-18

2楼

做啥内容这么吸引蜘蛛

三观不合，浪费口舌。
C 2021-12-18

3楼

我靠，用宝塔小心点，会提交你IP和个人信息……
现在版权打得严……
usss 2021-12-19

4楼

直接禁止一切国外

沙雕之家沙雕工具箱免费易支付
匿名 2021-12-19

5楼

fly 做啥内容这么吸引蜘蛛
啊这。。。

我很懒，所以什么都没留下
匿名 2021-12-19

6楼

C 我靠，用宝塔小心点，会提交你IP和个人信息…… 现在版权打得严……
破解版，海外版，开了直升机。不怕

不过在本站我都是裸奔的。。。

我很懒，所以什么都没留下
匿名 2021-12-19

7楼

usss 直接禁止一切国外
我研究研究它这两个引擎对我有没有利益先

我很懒，所以什么都没留下

返回

发新帖

匿名

主题数
220

帖子数
1429

注册排名
440