CNI 通用设计范式

• CNI 通用设计范式
  • CNI简介
  • CNI模型概念
  • 容器运行时与CNI插件的关系和工作机制
  • Kubernetes使用CNI流程
  • CNI网络配置详解
  • IPAM
    • dhcp 插件
    • host-local 插件
    • 静态IP地址管理
  • k8s 网络模型
    • Overylay网络
    • 另一种方法

CNI简介

CNI是由CoreOS公司提出的另一种容器网络规范，定义了容器运行环境与网络插件之间简单接口规范，通过一个JSON定义CNI插件提供的输入和输出参数。一个容器可以通过绑定多个网络插件加入多个网络中。

CNI模型概念

对容器网络的设置和操作都通过插件的方式进行实现，CNI插件包括的类型：CNI Plugin 和 IPAM （ IP Adress Management）Plugin。CNI Plugin 负责为容器配置网络资源，IPAM Plugin 负责对容器的IP地址进行分配和管理。IPAM Plugin 作为CNI Plugin的一部分，与CNI Plugin 一起工作。

容器运行时与CNI插件的关系和工作机制

将容器添加到网络或者删除某个网络是由容器运行时和CNI插件完成的，容器运行时与CNI插件之间的关系和工作机制通常遵循下面的原则：

1.容器运行时必须在调用任意插件前为容器创建一个新的网络命名空间。
2.容器运行时必须确定此容器所归属的网络（一个或多个），以及每个网络必须执行哪个插件。
3.网络配置为JSON格式，便于在文件中存储，网络配置包括必填字段，例如name和type，以及插件（类型）特有的字段。网络配置允许在调用时更改字段的值。为此，必须在可选字段args中包含需要变更的信息。
4.容器运行时必须按照先后顺序为每个网络运行插件将容器添加到每个网络中。
5.容器生命周期结束后，容器运行时必须以反向顺序（相对于添加容器执行顺序）执行插件，以使容器和网络断开连接。
6.容器运行时一定不能为同一个容器的调用执行并行操作，但可以为多个不同的容器调用执行并行的操作。
7.容器运行时必须对容器的ADD和DEL操作设置顺序，以使得ADD操作最终跟随相应的DEL操作。DEL操作后面可能会有其他DEL操作，但插件应自由处理多个DEL操作。
8.容器必须以ContainerID进行唯一标识。存储状态的插件应使用联合主键（network name、CNI_CONTAINERID、CNI_IFNAME）进行存储。
9.容器运行时不得为同一个实例（由联合主键network name、CNI_CONTAINERID、CNI_IFNAME）调用两次ADD操作（无相应的DEL操作）。对同一个容器（ContainerID），仅在每次ADD操作（无相应的DEL操作）。对同一个容器，仅在每次ADD操作都使用不同的网络接口名称时，才可以多次添加到特定的网络中。
10.除非明确标记为可选配置，CNI结构中的字段（例如Network Configuration和CNI Plugin Result）都是必填字段。

Kubernetes使用CNI流程

Kubernetes 调用CRI创建pause容器，生成对应的network namespace；
调用网络driver（因为配置的是CNI，所以会调用CNI的相关代码）；
CNI driver根据配置调用具体的CNI插件
CNI插件给pause容器配置正确的网络，Pod中的其他容器都是用pause容器的网络栈。

CNI网络配置详解

CNI 网络配置以JSON格式进行描述。这个配置可以以文件的形式保存在磁盘上，或者由容器运行时自动生成。
我们以ipvlan做为一个例子，配置的路径在/etc/cni/net.d目录下，可以看到各种Conf。

{
    "name": "mynet",
    "type": "ipvlan",
    "master": "eth0",
    "ipam": {
        "type": "host-local",
        "subnet": "10.1.2.0/24"
    }
}

关于ipam.type执行的网络配置应用，一般在/opt/cni/bin目录下面。

那么问题来了，加入有新的cni插件怎么放到这个目录下面呢？
其实是通过DaemonSet在每个节点上运行一个CNI相关的容器，通过volume卷挂载本地的/etc/cni/net.d目录，然后将插件放到该目录下面。基本上所有的cni插件都是这样做的。
IPAM的工具同样在该目录下面。
（Flannel举例）

IPAM

我们知道IPAM主要是用于地址分配的，目前有三个管理插件来支持该功能：
1.dhcp 插件
2.host-local IP 地址管理插件
3.静态IP地址管理插件

dhcp 插件

关于DHCP的插件并不常用。因为dhcp需要在每个节点中运行一个dhcp server所以如果在所有的节点上都装一个这就太消耗性能了。
这里不过多叙述，感兴趣的可以查看官网：https://www.cni.dev/plugins/current/ipam/dhcp/

host-local 插件

主机本地IPAM插件从一组地址范围中分配ip地址。它将状态本地存储在主机文件系统上，从而确保单个主机上IP地址的唯一性。
分配器可以分配多个范围，并支持多个（不相交）子网的集合。分配策略是在每个范围集中进行松散的循环。
简单来讲每个主机可设置不一样的段。（举例：10.244.0.0/16，node1就是10.244.1.0/24,node2就是10.244.2.0/24…以此类推，可避免IP地址冲突）。
https://www.cni.dev/plugins/current/ipam/host-local/

静态IP地址管理

静态IPAM是一个非常简单的IPAM插件，它将IPv4和IPv6地址静态分配给容器。
这对于调试目的以及在不同vlan/vxlan中为容器分配相同IP地址的情况下非常有用。
(但是一般不太关注Pod的IP，因为我们一般调用都是调用Service。)
缺点：所有的IP地址需要手动填写到配置清单中，还得指定相对应的路由。
https://www.cni.dev/plugins/current/ipam/static/

k8s 网络模型

Overylay网络

简单来讲有两台主机是在同一个网段中分别是10.211.55.11和10.211.55.12，现在里面的Pod1和Pod2分别是192.168.1.1/24和192.168.1.2/24，如果Pod1 没有overylay的网络支持根本与Pod2不相通。因为这是一个内部IP地址，如果使用overylay的网络把它封装成外部的地址，那么主机很乐意帮忙转发。
Overylay网络具体的实现就有：ipip、vxlan….。

另一种方法

既然内部网络10.211.xx.xx外面的不知道我们可以让外面知道就好了，只不过需要一次路由的学习。那么Calico就提供了BGP、Flannel提供host-gw模式。把一个节点当作一个路由器来做，pod就跳一个节点然后转发包。