谷歌跟必应派了20w爬虫来，半天搞了我几十G - Assbbs

谷歌跟必应派了20w爬虫来，半天搞了我几十G流量 搬新机子了顺便开放robots，才两天就疯狂爬过来了。看了下统计这两败家玩意就占了将近一半的数量，今天百度360都降了20%了。我防火墙是默认拦截非浏览器的，更不存在镜像的说法，就觉得该禁国外的蜘蛛