决定禁谷歌蜘蛛禁海外流量，日爬几百万直接 - Assbbs

决定禁谷歌蜘蛛禁海外流量，日爬几百万直接把我服务器搞死了 没有被cc没有被d，昨天刚升级的服务器1G口无限流量抗d2T的，今早起来发现它爬得更猛了 1个小时搞掉400G流量，这还单单是一个站而已哦，去了谷歌站长找那个限制蜘蛛的工具，他喵的访问是404 。而且也不吃Crawl-delay这套。索性先拉黑ip了再robots加个谷歌Disallow: /&nbs…