容器网络

单节点网络

单节点网路

  • 桥接模式

    原本网桥用于连接不同的LAN,组成更大的LAN,网桥负责转发和学习二层广播包。

    容器网桥用到两个技术,虚拟网络接口和NAT(网络地址转换)。虚拟网络接口对用于将容器中的VETH和网桥中的VETH绑定并实现数据互通。 NAT技术又包括DNAT和SNAT,DNAT是替换目标地址,SNAT是替换源地址。容器和外部通信时要用NAT技术绑定容器和宿主端口,由宿主IP:PORT+NAT和外部通信。外部服务响应时容器时不需要走DNAT,而是通过iptables转发。

    docker-net-in.png

    docker-net-out.png

    容器网桥的问题:

    • 无法对外暴露容器IP,宿主机和VETH不在一个网段
    • 由于NAT在三层网络实现,传输效率较低
  • 主机模式

    直接使用主机相同的网络栈,没有隔离网络环境

  • 容器模式

    多个容器共用一个网络环境,共享网络名字空间

  • NONE模式

    容器只有一个loopback网络设备

跨节点网络

docker-network.jpg

Overlay

Overlay网络无需改造网络架构,只需三层可达即可,将二层报文封装在IP报文中。这样能利用成熟的IP路由协议进行数据分发,采用隔离标识能够突破VLAN的数量限制,必要时把广播流量转化为组网流量避免广播数据泛滥。因此Overlay网络是最主流的容器跨节点路由和数据传输方案。

Overlay网络的实现方式有多种,IETF制定了三种实现标准: VxLAN(虚拟可扩展LAN)、NVGRE(通用路由封装虚拟化网络)、SST(无状态传输协议)。其中VxLAN已成为Overlay网络的事实标准。在这三种标准以外,还有许多不成标准的Overlay通信协议,例如Flannel、Calico、Weave等工具都包含了一套自定义的Overlay网络协议,其中Flannel也支持VxLAN模式。这些自定义的网络协议通信效率远低于IETF的标准协议。

Overlay主要分为L2/L3、L3/L3、L2/UDP、L3/UDP几种。

L2/L3
可以跨机迁移不改变IP;不同租户IP可以重叠;容器IP可以和底层网络重叠
L3/L3
容器跨机迁移可能要改变IP地址,取决于上层L3是平面还是分层网络
  • VxLAN

    VxLAN后端本质上是在三层网络上构建二层网络,只不过利用内核原生支持。该模式下的插件有:docker-vxlan、flannel-vxlan等。

    flannel-vxlan工作原理:

    1. flanneld先于docker启动,划分子网并在etcd中注册
    2. 启动docker,读取flannel配置以配置bip等信息,实际给容器分配IP由docker完成
    3. vtep网桥管理整个网络,docker0只管理本机子网
    4. 数据由内核转发,flanneld只需动态更新arp

    docker-net-vxlan.png

    VxLAN的优点:

    • 数据由内核转发,性能较高
    • flanneld短暂停止不会中断网络
    • 只需主机三层可达

    VxLAN的问题:

    • 依赖存储服务
    • 需要为每个主机分配一个网段,用于给容器分配IP
    • 迁移容器无法保持IP不变,因为每个主机的网段不一样
    • 容器和主机不能直接通信
    • 无法暴露容器IP,暴露容器服务仍然需要端口映射
  • UDP

    UDP后端也是在三层网络上构建二层网络,只不过使用UDP封包,不需要内核支持。该模式下的插件有:flannel-UDP、weave-UDP等,这种模式主要用于早期内核,因为早期内核不支持VxLAN。数据的封包和解包由后台进程处理,使得该模式性能很差。

    docker-net-udp.png

Underlay

Underlay网络由底层网络驱动将接口暴露给虚机或容器,两个驱动分别是MACVLAN和IPVLAN,比桥接和Overlay更简单高效。

  • MACvLAN

    MACVLAN允许在主机的单个物理接口后面创建多个虚拟网络接口,每个虚拟接口具有唯一的MAC和IP地址分配。容器IP地址和物理接口必须在相同的广播域,MACVLAN每个容器使用唯一的MAC地址。

    MACvLAN的问题:

    • 如果一个容器消耗一个mac,对mac的消耗会很大,而网络接口和交换机对mac的支持有上限。 NIC一般限制512个MAC。
    • IP地址需要在与物理接口相同的广播域
    • 主机和容器完全隔离,容器不能和宿主通信
    • 不能用于存在防MAC欺骗交换机的网络
    • 当mac地址过多时会造成严重的性能损失
    • 无法和802.11(wireless)网络一起工作
    • 搭建复杂网络拓扑时,如要和BGP网络一起工作,不能使用macvlan
    • 容器不能与宿主通信
  • IPvLAN

    IPVLAN与MACVLAN类似,它创建新的虚拟网络接口并为每个IP地址分配一个唯一的IP地址,但他们的MAC和宿主机相同。

    IPVLAN可以在L2或L3模式下运行:

    L2模式下父接口作为交换机转发子接口的数据,该模式要求容器IP和宿主IP在同一个子网。 L2模式下,ipvlan虚拟网卡能够收到广播报文,能够自己处理arp请求。

    L3模式要求容器IP和宿主IP在不同的子网。网络堆栈在容器内处理,不允许多播或广播流量。在这个意义之上,如同L3路由器的行为, ARP请求由主网卡代为处理。 L3模式在发送数据包时不一定会走ipvlan宿主设备,可能通过路由走其他设备发送出去。

    L3s模式跟L3模式唯一的区别在于,L3s模式只有在报文是发往本地的时候才修改接收数据包的网卡,否则不修改,这种模式没法和tap设备结合。

路由方案

路由方案通过路由配置实现容器跨主机通信,每个容器像虚拟机一样分配一个业务IP。路由网络对现有网络设备影响比较大,路由器的路由表限制一般是两三万条。而容器的大部分应用场景是运行微服务,数量集很大。如果几万新的容器IP冲击到路由表里,导致下层的物理设备没办法承受;而且每一个容器都分配一个业务IP,业务IP消耗会很快。

Calico-BGP模式正是使用的路由方案,基于BGP协议,通过三层路由实现跨主机通信。 Calico-BGP模式包括三个组件,etcd存储、felix配置路由、BIRD分发路由。 BIRD有两种模式,网格模式用于小规模,集中模式用于大规模。

docker-net-calico.jpg

Calico-BGP模式优点:

  • 可以暴露容器IP
  • 容器漂移IP不变
  • 不需要NAT或隧道,性能高

Calico-BGP模式主要问题:

  • 相关组件会在主机上生成大量路由表,路由数目和容器数目相同,超出路由器、三层交换、节点处理能力
  • 节点上配置大量iptables,难以排障
  • 不支持VPC,容器只能从calico网段中获取IP
  • 没有流量控制,存在少数节点抢占多数带宽

二层VLAN

二层VLAN就是将网络架构改造成互通的大二层网络,效率上比Overlay高。

二层VLAN主要问题如下:

  • 需要二层网络设备支持,不够通用和灵活
  • 交换机的可用VLAN数量限制在4096个(LANID长度12位)
  • 大型数据中心使用VLAN会造成广播数据泛滥,影响带宽
  • 不同租户的IP不能重叠

Kubernetes

Pod与Pod间接通信:每个节点都有kube-proxy,它会从kube-apiserver拉取配置信息,动态更新节点上的iptables,Pod访问service时会根据iptables转发到具体的Pod。

Pod与Pod直接通信:利用网络插件实现数据转发。

间接通信实际上会在每个节点配置大量的iptables规则,服务数量增多时,性能损失也较大。直接通信通常用overlay网络插件,依赖外部存储,性能也比较差。

Kubernetes的服务只能集群内部可见,也就是利用kube-proxy查找。要暴露到外部,需要用NodePort模式,这需要在每个节点上映射一个相同的端口。所以kubernetes单独定义了一个Ingress对象,用于支持L4/L7负载均衡,基于Pod部署,后端为服务名和端口,网络设置成外部网络,支持haproxy/nginx/GCE-L7控制器,由于Ingress基于Pod部署,可能会发生IP漂移。还需要额外手段保持Ingress本身的高可用。




上一篇
下一篇