决定禁谷歌蜘蛛禁海外流量，日爬几百万直接把我服务器搞死了

没有被cc没有被d，昨天刚升级的服务器1G口无限流量抗d2T的，今早起来发现它爬得更猛了 1个小时搞掉400G流量，这还单单是一个站而已哦，去了谷歌站长找那个限制蜘蛛的工具，他喵的访问是404 。而且也不吃Crawl-delay这套。索性先拉黑ip了再robots加个谷歌Disallow: / 才发觉谷歌的流量没有用，一点都没有！不单想禁谷歌，防火墙开一下把海外的流量通通都禁了去已表示朕现在非常生气！！！

ps：补充四楼大c哥的，不知道是不是谷歌蜘蛛，但站长后台确实可以看到是爬取的数量的

匿名

我早屏蔽了，爆机器太厉害了。

zeg922

这流量太羡慕了[em_2]

C

不过话说回来

69.249.66.93

这好像根本不是谷歌的蜘蛛IP啊

是不是什么野路子爬虫

C

查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。

可以直接封禁69.249.66.0/24整个段。

C

C

引用

查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。可以直接封禁69.249.66.0/24整个段。

C 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。可以直接封禁69.249.66.0/24整个段。

C大专业。

saber

zeg922

引用

我早屏蔽了，爆机器太厉害了。

zeg922 我早屏蔽了，爆机器太厉害了。

本来还尝试开放海外引擎试试，没想到那些流量毛用没有

匿名

saber

引用

C 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。可以直接封禁69.249.66.0/24整个段。 C大专业。

saber C大专业。

快去参观：https://wzfou.com/anime-bizhi/

有你喜欢的[em_24]

C

C

引用

不过话说回来 69.249.66.93 这好像根本不是谷歌的蜘蛛IP啊是不是什么野路子爬虫

C 不过话说回来 69.249.66.93 这好像根本不是谷歌的蜘蛛IP啊是不是什么野路子爬虫

不太懂，我在1楼补充抓取数了，现在打算参考b站的robots试试

匿名

C

引用

这流量太羡慕了[em_2]

C 这流量太羡慕了[em_2]

[em_1]国外流量不赚钱

匿名

saber

引用

C 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。可以直接封禁69.249.66.0/24整个段。 C大专业。

saber C大专业。

c大大无敌，实至名归了哈哈

匿名