Skip to main content

下一代 Kubernetes 发行版剖析

架构概述​

在 RKE2 中，我们吸取了开发和维护轻量级Kubernetes发行版K3s的经验教训，并将其应用于构建一个具有K3s易用性的企业级发行版。这意味着，RKE2 在最简单的情况下是一个单一的二进制文件，需要在所有参与Kubernetes集群的节点上安装和配置。一旦启动，RKE2 就能够引导和监督每个节点上的角色合适的 agent，同时从网络上获取所需的内容。

Architecture Overview

RKE2 汇集了一些开源技术来实现这一切：

除了 NGINX Ingress Controller，所有这些都是用Go+BoringCrypto编译和静态链接的。

进程生命周期​

Content Bootstrap​

RKE2 从 RKE2 Runtime 镜像中提取二进制文件和清单来运行server和agent节点。这意味着 RKE2 默认扫描/var/lib/rancher/rke2/agent/images/*.tar以获取rancher/rke2-runtime镜像（带有与 rke2 --version 输出相关的标签），如果找不到它，就尝试从网络（也就是 Docker Hub）上拉取。RKE2 然后从镜像中提取/bin/，将其解压到/var/lib/rancher/rke2/data/${RKE2_DATA_KEY}/bin，其中${RKE2_DATA_KEY}代表识别镜像的唯一字符串。

为了使 RKE2 能够如期工作，运行时镜像必须至少提供：

  • containerd (CRI)
  • containerd-shim (shims wrap runc 任务，并且在 containerd 执行时不会停止)
  • containerd-shim-runc-v1
  • containerd-shim-runc-v2
  • kubelet (Kubernetes 节点 agent)
  • runc (OCI runtime)

运行时镜像还提供了以下 ops 工具：

  • ctr (低级别的containerd维护和检查)
  • crictl (低级别的 CRI 维护和检查)
  • kubectl (kubernetes 集群维护和检查)
  • socat (由containerd需要，用于端口转发)

在二进制文件被提取后，RKE2 将从镜像中提取 charts 到/var/lib/rancher/rke2/server/manifests目录。

初始化 Server​

在嵌入式 K3s 引擎中，server 是专门的 agent 进程，这意味着后续启动将推迟到节点容器运行时启动。

组件准备​

kube-apiserver​

拉取 kube-apiserver 镜像（如果不存在），并启动一个 goroutine 来等待 etcd，然后在/var/lib/rancher/rke2/agent/pod-manifests/中写入静态 pod 定义。

kube-controller-manager​

拉取 kube-controller-manager 镜像（如果不存在），并启动一个 goroutine 来等待kube-apiserver，然后在/var/lib/rancher/rke2/agent/pod-manifests/中写入静态 pod 定义。

kube-scheduler​

拉取 kube-scheduler 镜像（如果不存在），并启动一个 goroutine 来等待 kube-apiserver，然后在/var/lib/rancher/rke2/agent/pod-manifests/中写入静态 pod 定义。

启动群集​

在一个 goroutine 中启动一个 HTTP 服务器，以监听其他集群 server/agent，然后初始化/加入集群。

etcd ​

拉取 etcd 镜像（如果不存在），启动一个 goroutine 来等待 kubelet，然后在/var/lib/rancher/rke2/agent/pod-manifests/中写入静态 pod 定义。

helm-controller。​

在等待kube-apiserver准备就绪后，启动 goroutine 来启动嵌入式 helm-controller。

初始化 Agent​

Agent 进程的入口点。对于 server 进程，嵌入式 K3s 引擎直接调用它。

容器运行时间​

containerd​

生成containerd进程并监听终止。如果containerd退出，那么rke2进程也将退出。

节点 Agent​

kubelet​

生成并监督kubelet进程。如果kubelet退出，那么rke2将尝试重新启动它。一旦 kubelet 运行，它将启动任何可用的静态 pod。对于 server 来说，这意味着etcd和kube-apiserver将依次启动，允许其余通过静态 pod 启动的组件连接到kube-apiserver并开始处理。

Server Charts​

在 server 节点上，helm-controller可以将在/var/lib/rancher/rke2/server/manifests中找到的任何 charts 应用到集群中。

  • rke2-canal.yaml or rke2-cilium.yaml (daemonset, bootstrap)
  • rke2-coredns.yaml (deployment, bootstrap)
  • rke2-ingress-nginx.yaml (deployment)
  • rke2-kube-proxy.yaml (daemonset, bootstrap)
  • rke2-metrics-server.yaml (deployment)

Daemon Process​

RKE2 进程现在将无限期地运行，直到它收到 SIGTERM 或 SIGKILL 或者containerd进程退出。