决定禁谷歌蜘蛛禁海外流量，日爬几百万直接把我服务器搞死了
没有被cc没有被d，昨天刚升级的服务器1G口无限流量抗d2T的，今早起来发现它爬得更猛了 1个小时搞掉400G流量，这还单单是一个站而已哦，去了谷歌站长找那个限制蜘蛛的工具，他喵的访问是404 。而且也不吃Crawl-delay这套。索性先拉黑ip了再robots加个谷歌Disallow: / 才发觉谷歌的流量没有用，一点都没有！不单想禁谷歌，防火墙开一下把海外的流量通通都禁了去已表示朕现在非常生气！！！
ps：补充四楼大c哥的，不知道是不是谷歌蜘蛛，但站长后台确实可以看到是爬取的数量的
我早屏蔽了，爆机器太厉害了。
这流量太羡慕了[em_2]
不过话说回来
69.249.66.93
这好像根本不是谷歌的蜘蛛IP啊
是不是什么野路子爬虫
查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。
可以直接封禁69.249.66.0/24整个段。
C 引用 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。 可以直接封禁69.249.66.0/24整个段。
C 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。 可以直接封禁69.249.66.0/24整个段。
C大专业。
zeg922 引用 我早屏蔽了，爆机器太厉害了。
zeg922 我早屏蔽了，爆机器太厉害了。
本来还尝试开放海外引擎试试，没想到那些流量毛用没有
saber 引用 C查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。 可以直接封禁69.249.66.0/24整个段。 C大专业。
saber C大专业。
快去参观：https://wzfou.com/anime-bizhi/
有你喜欢的[em_24]
C 引用 不过话说回来 69.249.66.93 这好像根本不是谷歌的蜘蛛IP啊 是不是什么野路子爬虫
C 不过话说回来 69.249.66.93 这好像根本不是谷歌的蜘蛛IP啊 是不是什么野路子爬虫
不太懂，我在1楼补充抓取数了，现在打算参考b站的robots试试
C 引用 这流量太羡慕了[em_2]
C 这流量太羡慕了[em_2]
[em_1]国外流量不赚钱
c大大无敌，实至名归了 哈哈
