起因是装好一台服务器发现莫名其妙丢包 50%,并且同时另外一台机器也出现了这个问题。仔细观察发现是两台机器的 X520 网卡居然有一样的 MAC 地址…!!!

总之发现了问题就来粗暴地解决一下吧。要修改 MAC 地址有很多方法,但是两块 NIC 出厂时就有一样的 MAC 地址,那还是永久修改比较合适,免得后续出问题。

首先安装 ethtoolpciutils

获取设备 ID,在这里也就是 EEPROM 的 magic header。其他厂商可能会有所不同。

1
2
3
~> lspci -nn
02:00.0 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)
02:00.1 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)

Intel 的 Vendor ID 是 8086,Device ID 在这里是 10fb。如果是 BSD 系统,也可以用 pciconf -lv 来读取 chip= 值。总之要用的 magic header 就是 0x10fb8086 啦。

然后来备份 EEPROM 以免搞砸。

1
~> ethtool -e ens1f0 raw on > eeprom-backup-ens1f0.bin

定位 MAC 地址

1
2
3
~> ethtool -e ens1f0 | grep '90 e2 xx xx xx'
0x0360: 90 e2 xx xx xx xx ...
0x0370: 90 e2 xx xx xx xx ...

完整的 MAC 地址就是

1
2
3
4
~> ethtool -e ens1f0 offset 0x0360 length 6
Offset Values
------ ------
0x0360: 90 e2 xx xx xx c0

于是可以把最后两位修改一下:

1
2
~> ethtool -E ens1f0 magic 0x10fb8086 offset 0x0365 value 0xc2
~> ethtool -E ens1f0 magic 0x10fb8086 offset 0x0375 value 0xc3

修改完成后不会立即生效,需要拔插一下 NIC。系统里也可以实现,直接重载一下内核模块:

1
~> modprobe -r ixgbe

于是就生效啦:

1
2
3
4
~> ip l
6: ens1f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
link/ether 90:e2:xx:xx:xx:c2 brd ff:ff:ff:ff:ff:ff
altname enp2s0f0

丢包的问题也就消失了。

顺便吐槽:这种几率的事情落在我头上是不是可以去买彩票了?¯_(ツ)_/¯