决定禁谷歌蜘蛛禁海外流量，日爬几百万直接把我服务器搞死了

匿名 2021-12-24 1596

没有被cc没有被d，昨天刚升级的服务器1G口无限流量抗d2T的，今早起来发现它爬得更猛了 1个小时搞掉400G流量，这还单单是一个站而已哦，去了谷歌站长找那个限制蜘蛛的工具，他喵的访问是404 。而且也不吃Crawl-delay这套。索性先拉黑ip了再robots加个谷歌Disallow: /  才发觉谷歌的流量没有用，一点都没有！不单想禁谷歌，防火墙开一下把海外的流量通通都禁了去已表示朕现在非常生气！！！

 

ps：补充四楼大c哥的，不知道是不是谷歌蜘蛛，但站长后台确实可以看到是爬取的数量的

我很懒，所以什么都没留下
收藏的用户（0） X
正在加载信息~
最新回复 (10)
  • zeg922 2021-12-24
    2楼

    我早屏蔽了，爆机器太厉害了。
  • C 2021-12-24
    3楼

    这流量太羡慕了
  • C 2021-12-24
    4楼

    不过话说回来

    69.249.66.93

    这好像根本不是谷歌的蜘蛛IP啊

    是不是什么野路子爬虫
  • C 2021-12-24
    5楼

    查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。

    可以直接封禁69.249.66.0/24整个段。
  • saber 2021-12-24
    6楼
    C 查了下是个使用Comcast线路的家宽IP，野鸡私人采集爬虫。 可以直接封禁69.249.66.0/24整个段。

    C大专业。

    Page namesilo优惠码：aawsl，减1美元
  • 匿名 2021-12-24
    7楼
    zeg922 我早屏蔽了，爆机器太厉害了。

    本来还尝试开放海外引擎试试，没想到那些流量毛用没有

    我很懒，所以什么都没留下
  • C 2021-12-24
    8楼
    saber C大专业。

    快去参观：https://wzfou.com/anime-bizhi/

    有你喜欢的
  • 匿名 2021-12-24
    9楼
    C 不过话说回来 69.249.66.93 这好像根本不是谷歌的蜘蛛IP啊 是不是什么野路子爬虫

    不太懂，我在1楼补充抓取数了，现在打算参考b站的robots试试

    我很懒，所以什么都没留下
  • 匿名 2021-12-24
    10楼
    C 这流量太羡慕了

    国外流量不赚钱

    我很懒，所以什么都没留下
  • 匿名 2021-12-24
    11楼
    saber C大专业。

    c大大无敌，实至名归了 哈哈

    我很懒，所以什么都没留下
返回
发新帖