VirMach东京爆炸的原因分析

C 4天前 337

近期看到VirMach炸成了这个样子:

是不是感觉很熟悉?没错,第一反应就是ARP收包收爆了。

和坛友 @喜洋洋 聊天时让他帮忙测了下东京VPS每秒收包数量,感谢提供测试数据:

可以看到每秒收包数量达到了1000个左右,计算下:

如果一台母鸡有200个VPS,网卡每秒就要处理20万个包,CPU早就给软中断占满了,必然会出现丢包。

我又拿自己的水牛城做了下测试,可以看到每秒只收到3个包,非常地完美。

看到Vir新上的机房,东京、圣何塞,都有这个问题,可以看出他们新的网络架构有问题。

硬件层面没在交换机切分VLAN,导致所有母鸡和VPS都在同一个大VLAN。

软件层面没有使用Open vSwitch一类的技术进行隔离,导致问题更加严重。

Vir之前的技术人员应该不干了,现在是老板自己搞,或者来了个不懂技术的员工。

最新回复 (10)
  • saber 4天前
    2

    C大分析的很到位。

  • fly 4天前
    3

    废了

  • C 4天前
    4
    saber C大分析的很到位。

    血泪教训

  • JDJX 4天前
    5

    懂了。这就去操作一下,看看我的啥情况。那是不是可以说vir现在是四大金刚里面最菜的了?

  • C 3天前
    6
    JDJX 懂了。这就去操作一下,看看我的啥情况。那是不是可以说vir现在是四大金刚里面最菜的了?

    没用这个客户端修不了的

  • JDJX 3天前
    7
    C 没用这个客户端修不了的

    C大高看我了,我就单纯用你图片里面的代码试了下我的小鸡们,基本都在50-200之间,一般多少以内是正常的呀。

  • C 3天前
    8
    JDJX C大高看我了,我就单纯用你图片里面的代码试了下我的小鸡们,基本都在50-200之间,一般多少以内是正常的呀。

    200以内都正常,取决于各家处理网络隔离和ARP包的方式。

    斯巴达那个就是电信4个IP段放1个VLAN,严格来说隔离做的不太好,但是他家老板清闲有的是时间盯着……

  • 500 3天前
    9

    这个咋看啊。。。

  • JDJX 3天前
    10
    500 这个咋看啊。。。

    用第三张图里的命令就可以测试了。

  • C 2天前
    11
    500 这个咋看啊。。。

    跑分: apt install -y sysbench && sysbench cpu run

    核心: apt install -y mpstat && mpstat -P ALL

    网络: apt install -y iptraf && iptraf-ng

    流量: apt install -y nload && nload eno2

    性能: apt install -y dstat && dstat -N eno2

    收包: apt install -y sysstat && sar -n DEV 2 5

    内存: apt install -y sysstat && sar -B 5 5

    读写: apt install -y sysstat && sar -b 1 2

    硬盘: apt install -y sysstat && sar -d -p 1 1

    • 屌丝论坛
      12