K8s容器网络学习笔记（抓包实战）

1. Flannel方案

Flannel方案的后端实现分为UDP、VXLAN、host-gw这三种，本次实验主要是通过VXLAN实现。首先贴出一张经典的VXLAN方案的网络传输示意图：
首先我们介绍容器网络的各个组件功能：

(1). flannel.1：VTEP设备(虚拟二层设备)
(2). cni0：Kubernetes通过一个叫作CNI的接口,维护了一个单独的网桥来代替docker0。这个网桥的名字就叫作:CNI网桥,它在宿主机上的设备名称默认是:cni0。
(3). eth0：宿主机的网卡

alt

本次实验，我们在master的eth0上进行抓包，从数据包的格式上看，这是一个overlay(覆盖网络)的报文格式

2. calico方案:（一般部署在私有云上，因为公有云的路由信息不好改）

calico工作原理

calico中的BGP路由信息同步方案：
1、node-to-node mesh：每台宿主机上的 BGP Client 都需要跟其他所有节点的 BGP Client 进行通信以便交换路由信息
2、Route Reflector：在这种模式下，Calico 会指定一个或者几个专门的节点，来负责跟所有节点建立 BGP 连接从而学习到全局的路由规则。而其他节点，只需要跟这几个专门的节点交换路由信息，就可以获得整个集群的路由规则信息了。

alt 2. calico的IPIP工作模式（跨子网） alt

附录：

k8s抓包测试环境

查看虚拟网卡veth pair

查看网桥cni0上的虚拟网卡

[master]# yum install bridge-utils -y
[master]# brctl show
bridge name     bridge id               STP enabled     interfaces
cni0            8000.822a0551fe51       no              veth01d2bc26
                                                        veth1b7415be
                                                        veth48059492
                                                        veth6174f7d6
                                                        veth6a56ab55
                                                        vethf3807a14
                                                        vethfbd1eb75
docker0         8000.024218847f20       no

查找容器网卡对应的主机上veth pair

比如，容器tea-6fb46d899f-4zkt2的IP地址是10.244.0.60：

[root@master conf]# kubectl describe pod tea-6fb46d899f-4zkt2 | grep IP
IP:           10.244.0.60

它的MAC地址是B2:AD:3A:6E:3A:4F，如下：

[root@master conf]# kubectl exec -it tea-6fb46d899f-4zkt2 -- sh
/ $ ip addr
3: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue state UP 
    link/ether b2:ad:3a:6e:3a:4f brd ff:ff:ff:ff:ff:ff
    inet 10.244.0.60/24 brd 10.244.0.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::b0ad:3aff:fe6e:3a4f/64 scope link 
       valid_lft forever preferred_lft forever

注意，它的eth0序号是17。那么，它对应的主机veth pair虚拟网卡就是vetha1f852ea：

[root@master wp]# ip link show | egrep "veth" | awk -F":" '{print $1": "$2}'
14:  veth120e0e5a@if3
15:  veth7bd66290@if3
16:  veth16a8de20@if3
17:  vetha1f852ea@if3
18:  veth715a2ef5@if3
19:  veth094652aa@if3
20:  veth7e9e92b7@if3
21:  vethb4a73525@if3

当需要抓包时，用tcpdump -i vetha1f852ea即可抓取到容器报文：

[root@master wp]# tcpdump -i vetha1f852ea
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vetha1f852ea, link-type EN10MB (Ethernet), capture size 262144 bytes


19:51:49.847648 IP 10.244.0.60.54477 > 10.96.0.10.domain: 58561+ A? www.baidu.com.default.svc.cluster.local. (57)
19:51:49.847731 IP 10.244.0.60.54477 > 10.96.0.10.domain: 59710+ AAAA? www.baidu.com.default.svc.cluster.local. (57)
19:51:49.849113 IP 10.244.0.58.domain > 10.244.0.60.54477: 59710 NXDomain*- 0/1/0 (150)
19:51:49.849268 IP 10.244.0.58.domain > 10.244.0.60.54477: 58561 NXDomain*- 0/1/0 (150)

跨L3三层vxlan网络抓包

当172.27.0.11主机上访问172.27.16.10主机上的10.244.1.3容器时，IP、MAC地址的获取如下：

Underlay层的IP与MAC地址

在源主机上执行ifconfig，从eth0上即可看到Underlay源IP为172.27.0.11，以及Underlay源MAC为52:54:00:c2:ee:db：

[root@master wp]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.27.0.11  netmask 255.255.240.0  broadcast 172.27.15.255
        inet6 fe80::5054:ff:fec2:eedb  prefixlen 64  scopeid 0x20<link>
        ether 52:54:00:c2:ee:db  txqueuelen 1000  (Ethernet)
        RX packets 783420  bytes 872472212 (832.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 462834  bytes 135019947 (128.7 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

在目的主机上执行同样步骤，获取到Underlay目的IP为172.27.16.10：

[root@VM-16-10-centos ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.27.16.10  netmask 255.255.240.0  broadcast 172.27.31.255
        inet6 fe80::5054:ff:fe4e:502  prefixlen 64  scopeid 0x20<link>
        ether 52:54:00:4e:05:02  txqueuelen 1000  (Ethernet)
        RX packets 39103520  bytes 6692916434 (6.2 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1169194048  bytes 117270853999 (109.2 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

需要注意，Underlay目的MAC并不是52:54:00:4e:05:02！Underlay目的MAC实际上是交换机的MAC地址fe:ee:32:07:ea:07：

[root@master net]# arp -v
Address                  HWtype  HWaddress           Flags Mask            Iface
gateway                  ether   fe:ee:32:07:ea:07   C                     eth0

这样，Underlay层的4个地址都已得到！

Overlay层的IP与MAC地址

目标容器的IP地址是10.244.1.3，但MAC地址却不能是容器的MAC地址，而必须是flannel.1的地址，因为flannel程序需要将Underlay层剥离，同时修改Overlay层，所以目标MAC地址其实是2a:3c:a0:e1:a9:b6：

[root@master net]# arp -v
Address                  HWtype  HWaddress           Flags Mask            Iface
10.244.1.0               ether   2a:3c:a0:e1:a9:b6   CM                    flannel.1

而源IP地址与MAC要根据路由规则来。比如，访问10.244.1.3是通过flannel.1网卡进行的：

[root@master net]# ip route
default via 172.27.0.1 dev eth0
10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink
172.27.0.0/20 dev eth0 proto kernel scope link src 172.27.0.11

而flannel.1虚拟网卡的IP地址则是10.244.0.0：

[root@master net]# ifconfig flannel.1
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.0.0  netmask 255.255.255.255  broadcast 10.244.0.0
ether 8e:5c:79:80:cd:cc  txqueuelen 0  (Ethernet)
[root@master net]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.27.0.11  netmask 255.255.240.0  broadcast 172.27.15.255
ether 52:54:00:c2:ee:db  txqueuelen 1000  (Ethernet)

它的MAC地址则是8e:5c:79:80:cd:cc。

参考目录：