CNI Notes: IPAM

hang.yan@hotmail.com (涯余) — Fri, 17 Sep 2021 14:05:47 +0800

CNI相关笔记，本文主要记录下 IPAM 功能相关。

CNI的职责包括给 Container 分配网络设备，并且分配IP. IPAM(IP Address Management)就是指IP分配相关的功能和规范。

CNI本身只是一个规范，不同的实现在 IPAM 方面的功能集也不尽相同。下面将首先尝试说明下不同 CNI在这块的实现。

CNI实现

Calico

calico开发的IPAM组件叫 calico-ipam, 它使用 calico 的 IP pool resource来管理 IP. 它的主要优势就是可以将 pool 分割成小的 block, 并且可以动态对分配给不同的 node. node 上的 ip 利用率会更高，并且可扩展性也很好。calico 目前也支持给不同的 namespace分配不同的 ip pool. 从大的方面来看，其实最终各个CNI 实现要解决的问题都是类似的，一般区别只是 dataplane 以及具体的 CRD的设计不太一样。所以这些功能很可能(已经有了或者以后会有)出现在其他的 CNI 上面。

下面看一个实际的例子:

apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
 name: external-pool
spec:
 cidr: 172.16.0.0/26
 blockSize: 29
 ipipMode: Always
 natOutgoing: true

---


apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
 name: internal-pool
spec:
 cidr: 192.169.0.0/24
 blockSize: 29
 ipipMode: Always
 natOutgoing: true

这里面可以创建两个 IPPool, 并且可以通过给 NS 打 label 的方式，分配给不同的 NS.

LB系列1 - Bandaid

hang.yan@hotmail.com (涯余) — Mon, 18 Jan 2021 13:33:12 +0800

很多大厂的LB都是自研的，而且设计考量都不相同。本文介绍 Dropbox自研的LB，名字叫 Bandaid.参考链接: Meet Bandaid, the Dropbox service proxy.

Queue设计

Bandaid 处理 Queue 中的 Request 的思路是后近先出(Last in, First out)。当系统负载不高的时候，Queue中的数据其实不多，那么先进后出或者后进先出其实区别不大。如果负载过高，考虑到先进的排队太久，可能很快就timeout了，还不如优先处理后进来的 request.

User Space的 Read Queue

Read Requests 会被放到一个用户态的 Queue 中，而不是 kernel 里的 queue中。这样做的原因是，可以在用户态提前关闭已经被 client close的 request, 而不是等到真正的request经由 kernel, 然后 application 在处理的时候才发现 request 已经 close 了。尤其是 client 一般还带有重试，很容易把 Kernel queue打满。User Space 的 Queue 能够通过处理只把正常的 request 传给后面。

权重以及 Route划分

精细程度可以做到按照 Route 将一个 Service 的重要的 Route 以及不重要的 Route 按权重定向到不同的 Backend上。不同的 Queue 可以有不同的权重，rate limit, 并发度。