谷歌蜘蛛是真的有毒,直接把我服务器跑满了

续昨天一贴,本来网站流量少得可怜才开放国外引擎尝试下,要是明天谷歌爬虫破百万的话就得禁国外了,国外流量比国内多了现在 60比40了,有一说一谷歌收录是真的快,但简直浪费我服务器资源。玛德

网站多少页面啊 这么大量

barkure
引用
网站多少页面啊 这么大量
barkure 网站多少页面啊 这么大量

不到一半,估计也就二三十万而已,现在加个crawl-delay进去试试

1