高级选项和配置
本节包含一些高级信息，描述了你可以运行和管理 K3s 的不同方式：
- 证书轮换
- 自动部署清单
- 使用 Docker 作为容器运行时
- 使用 etcdctl
- 配置 containerd
- 使用 Rootless 运行 K3s (实验)
- 节点标签和污点
- 使用安装脚本启动 server 节点
- Alpine Linux 安装的额外准备工作
- Red Hat/CentOS Enterprise Linux 的额外准备工作
- Raspberry Pi OS 设置的额外准备工作
- 在 Raspberry Pi 上的 Ubuntu 21.10+ 上启用 vxlan
- 运行 K3d（Docker 中的 K3s）和 docker-compose
- SELinux 支持
- 启用 eStargz 的延迟拉取（实验性）
- 其他日志源
- Server 和 agent tokens
证书轮换#
默认情况下，K3s 的证书在 12 个月内过期。
如果证书已经过期或剩余的时间不足 90 天，则在 K3s 重启时轮换证书。
自动部署清单#
在/var/lib/rancher/k3s/server/manifests中找到的任何文件都会以类似kubectl apply的方式自动部署到 Kubernetes，在启动和在磁盘上更改文件时都是如此。从该目录中删除文件不会从集群中删除相应的资源。
关于部署 Helm charts 的信息，请参阅Helm章节。
使用 Docker 作为容器运行时#
K3s 包含并默认为containerd， 一个行业标准的容器运行时。
要使用 Docker 而不是 containerd,
在 K3s 节点上安装 Docker。可以使用 Rancher 的一个Docker 安装脚本来安装 Docker：
使用
--docker选项安装 K3s：提示
国内用户，可以使用以下方法加速安装：
确认集群可用：
确认 Docker 容器正在运行：
可选：将 crictl 与 Docker 一起使用#
crictl 为兼容 CRI 的容器运行时提供了 CLI
如果你想在使用--docker选项安装 K3s 后使用 crictl，请参考官方文档来安装 crictl。
然后开始使用 crictl 命令：
使用 etcdctl#
etcdctl 为 etcd 提供了一个 CLI。
如果你想在嵌入式 etcd 的 K3s 里使用 etcdctl，请先参考官方文档安装 etcdctl。
然后开始使用带有适当 K3s 标志的 etcdctl 命令：
配置 containerd#
K3s 将会在/var/lib/rancher/k3s/agent/etc/containerd/config.toml中为 containerd 生成 config.toml。
如果要对这个文件进行高级定制，你可以在同一目录中创建另一个名为 config.toml.tmpl 的文件，此文件将会代替默认设置。
config.toml.tmpl 其实是一个 Go 模板文件，并且 config.Node 结构传递给模板。有关如何使用该结构自定义配置文件的 Linux 和 Windows 示例，请参见 这个文件夹。
使用 Rootless 运行 K3s (实验)#
警告： 这个功能是试验性的
Rootless 模式允许以非特权用户的身份运行 k3s，这样可以保护主机上的真正的 root 免受潜在的容器攻击。
请参阅 https://rootlesscontaine.rs/ 了解 Rootless 模式。
Rootless 模式的已知问题#
端口
在 rootless 运行时，将创建一个新的网络名称空间。这意味着 K3s 实例在与主机完全分离的网络上运行。从主机访问在 K3s 中运行的服务的唯一方法是设置端口转发到 K3s 网络名称空间。我们有一个控制器，它将自动将 6443 和 1024 以下的服务端口绑定到主机，偏移量为 10000。
也就是说服务端口 80 在主机上会变成 10080，但 8080 会变成 8080，没有任何偏移。
目前，只有
LoadBalancer服务会自动绑定。Cgroups
不支持 Cgroup v1，支持 V2。
多节点集群
多集群安装没有经过测试，也没有记录。
使用 Rootless 运行 Server 和 Agent#
启用 cgroup v2 授权，请参阅 https://rootlesscontaine.rs/getting-started/common/cgroup2/ 。这一步是可选的，但强烈建议启用 CPU 和内存资源的限制。
从
https://github.com/k3s-io/k3s/blob/<VERSION>/k3s-rootless.service下载k3s-rootless.service。确保使用相同版本的k3s-rootless.service和k3s。将
k3s-rootless.service安装到~/.config/systemd/user/k3s-rootless.service。不支持将该文件安装为全系统服务（/etc/systemd/...）。根据k3s二进制文件的路径，你可能需要修改文件中的ExecStart=/usr/local/bin/k3s ...行。运行
systemctl --user daemon-reload。运行
systemctl --user enable --now k3s-rootless。运行
KUBECONFIG=~/.kube/k3s.yaml kubectl get pods -A，并确保 pods 正在运行。
注意：不要尝试在终端上运行
k3s server --rootless，因为它不能启用 cgroup v2 授权。 如果你真的需要在终端上运行，请在systemd-run --user -p Delegate=yes --tty前加上一个 systemd 范围。即：
systemd-run --user -p Delegate=yes --tty k3s server --rootless。
故障排除#
- 运行
systemctl --user status k3s-rootless来检查守护进程的状态。 - 运行
journalctl --user -f -u k3s-rootless查看守护程序日志。 - 参见 https://rootlesscontaine.rs/
节点标签和污点#
K3s agents 可以通过--node-label和--node-taint选项进行配置，这两个选项可以给 kubelet 添加标签和污点。这两个选项只能在注册时添加标签和/或污点，所以它们只能被添加一次，之后不能再通过运行 K3s 命令来改变。
如果你想在节点注册后更改节点标签和污点，你应该使用kubectl。关于如何添加污点和节点标签，请参考 Kubernetes 官方文档。
使用安装脚本启动 Server 节点#
安装脚本将自动检测您的操作系统是使用 systemd 还是 openrc 并启动服务。当使用 openrc 运行时，日志将在/var/log/k3s.log中创建。
当使用 systemd 运行时，日志将在/var/log/syslog中创建，并使用journalctl -u k3s查看。
使用安装脚本进行安装和自动启动的示例：
提示
国内用户，可以使用以下方法加速安装：
当手动运行 server 时，你应该得到一个类似于下面的输出：
由于 agent 将创建大量的日志，输出可能会更长。默认情况下，server 会将自身注册为一个节点（运行 agent）。
Alpine Linux 安装的额外准备工作#
设置 Alpine Linux 前，您需要进行以下准备工作：
更新 /etc/update-extlinux.conf 添加：
更新配置并重启：
Red Hat/CentOS Enterprise Linux 的额外准备工作#
建议关闭 firewalld：
如果启用，则需要禁用 nm-cloud-setup 并重新启动节点：
Raspberry Pi OS Setup 的额外准备工作#
在 Raspberry Pi OS 上启用旧版 iptables#
Raspberry Pi OS（以前称为 Raspbian）默认使用 nftables 而不是 iptables。 K3S 网络功能需要 iptables 并且不能与 nftables 一起使用。按照以下步骤切换配置 Buster 以使用 legacy iptables：
为 Raspberry Pi OS 启用 cgroups#
标准 Raspberry Pi OS 安装时不会启用 cgroups。 K3S 需要 cgroups 来启动 systemd 服务。可以通过将 cgroup_memory=1 cgroup_enable=memory 附加到 /boot/cmdline.txt 来启用 cgroups。
在 Raspberry Pi 上的 Ubuntu 21.10+ 上启用 vxlan#
从 Ubuntu 21.10 开始，Raspberry Pi 上的 vxlan 支持已移至单独的内核模块中。
运行 K3d（Docker 中的 K3s）和 docker-compose#
k3d是一个设计用于在 Docker 中轻松运行 K3s 的工具。
它可以通过 MacOS 上的brew工具安装：
rancher/k3s镜像也可用于在 Docker 运行的 K3s server 和 agent。
在 K3s repo 的根目录下有一个docker-compose.yml，作为如何从 Docker 运行 K3s 的示例。要从这个 repo 中运行docker-compose，请运行：
要只在 Docker 中运行 agent，使用docker-compose up agent。
或者，也可以使用docker run命令：
/boot/cmdline.txt 的示例#
SELinux 支持#
从 v1.19.4+k3s1 开始支持。从 v1.17.4+k3s1 开始是试验性的。
如果您在默认启用 SELinux 的系统（如 CentOS）上安装 K3s，您必须确保安装了正确的 SELinux 策略。
自动安装#
从 v1.19.3+k3s2 开始可用。
如果在兼容的系统上，如果不执行离线安装，则安装脚本将从 Rancher RPM 存储库自动安装 SELinux RPM。可以通过设置 INSTALL_K3S_SKIP_SELINUX_RPM=true 来跳过自动安装。
手动安装#
可以使用以下命令安装必要的策略：
要强制安装脚本记录警告而不是失败，您可以设置以下环境变量： INSTALL_K3S_SELINUX_WARN=true。
启用和禁用 SELinux Enforcement#
SELinux enforcement 的启用或禁用方式取决于 K3s 的版本。
K3s v1.19.1+k3s1#
要使用 SELinux，请在启动 K3s server 和 agent 时指定--selinux标志。
这个选项也可以在 K3s配置文件中指定：
不要使用--disable-selinux选项。它已经被废弃，在未来的小版本中，它可能会因为被忽略或不被识别，从而导致错误。
在 SELinux 下不支持使用自定义的--data-dir。要自定义它，你很可能需要编写自己的自定义策略。为了获得指导，你可以参考container/container-selinux资源库，它包含了容器运行时的 SELinux 策略文件，以及rancher/k3s-selinux资源库，它包含了 K3s 的 SELinux 策略。
V1.19.1+k3s1 之前的 K3s#
内置 containerd 会自动启用 SELinux。
要关闭嵌入式 containerd 中的 SELinux enforcement，请使用--disable-selinux标志启动 K3s。
在 SELinux 下不支持使用自定义的--data-dir。要自定义它，你很可能需要编写自己的自定义策略。为了获得指导，你可以参考container/container-selinux资源库，它包含了容器运行时的 SELinux 策略文件，以及rancher/k3s-selinux资源库，它包含了 K3s 的 SELinux 策略。
启用 eStargz 的延迟拉取（实验性）#
什么是延迟拉取和 eStargz？#
拉取镜像被称为容器生命周期中耗时的步骤之一。根据Harter, et al.:
拉取包占容器启动时间的 76%，但其中只有 6.4%的数据被读取
为了解决这个问题，k3s 实验性地支持镜像内容的延迟拉取。这允许 k3s 在拉取整个镜像之前启动一个容器。相反，按需获取必要的内容块（例如单个文件）。特别是对于大镜像，这种技术可以缩短容器启动延迟。
要启用延迟拉取，目标镜像需要格式化为 eStargz。这是一种 OCI 的替代品，但 100% 与 OCI 兼容的镜像格式，用于延迟拉取。由于兼容性，eStargz 可以推送到标准容器注册表（例如 ghcr.io），并且即使在 eStargz-agnostic 运行时，它也仍然可运行。
eStargz 是基于谷歌 CRFS 项目提出的 stargz 格式开发的，具有内容验证、性能优化等实用功能。
关于延迟拉取和 eStargz 的更多细节，请参考 Stargz Snapshotter 项目资源库。
配置 k3s 进行 eStargz 的延迟拉取#
如以下所示，k3s server 和 agent 需要 --snapshotter=stargz 选项。
使用此配置，您可以对 eStargz 格式的镜像执行延迟拉取。以下 Pod 清单使用 eStargz 格式的 node:13.13.0 镜像 （ghcr.io/stargz-containers/node:13.13.0-esgz）。k3s 对这个镜像进行了延迟拉取。
其他日志源#
可以在不使用 Rancher 的情况下安装 K3s 的 Rancher 日志。应执行以下指令来实现：
Server 和 agent token#
在 K3s 中，有两种类型的 token：K3S_TOKEN 和 K3S_AGENT_TOKEN。
K3S_TOKEN：定义了 server 提供 HTTP 配置资源所需的密钥。其他 server 在加入 K3s HA 集群之前会请求这些资源。如果没有定义 K3S_AGENT_TOKEN，agent 也使用这个 token 来访问加入集群所需的 HTTP 资源。请注意，这个 token 还用于为数据库中的重要内容（例如引导数据）生成加密密钥。
K3S_AGENT_TOKEN（可选）：定义了 server 向 agent 提供 HTTP 配置资源所需的密钥。如果没有定义，agent 将需要 K3S_TOKEN。推荐使用 K3S_AGENT_TOKEN 避免 agent 节点必须知道 K3S_TOKEN，它也用于加密数据。
如果没有定义 K3S_TOKEN，第一个 K3s server 将生成一个随机的 K3S_TOKEN。其结果是 /var/lib/rancher/k3s/server/token 中的部分内容。例如，K1070878408e06a827960208f84ed18b65fa10f27864e71a57d9e053c4caff8504b::server:df54383b5659b9280aa1e73e60ef78fc，其中 df54383b5659b9280aa1e73e60ef78fc 是 K3S_TOKEN。