耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Kubernetes 部署 Kubernetes-1.27.3

发布时间：2023-07-05 作者：gengyufei 来源：gengyufei个人博客

Kubernetes

# 准备开始(理论知识)

- 本文使用的 centos-7.9 Linux服务器
- 每台服务器配置：2core、4GB
- 集群中的所有机器的网络彼此均能相互连接
- 节点中不可以有重复的主机名、MAC地址或product_uuid
- 开启机器上的某些端口（如：6443为kube-apiserver的端口）
- 禁用交换分区：为了保证 kubelet 正常工作，必须禁用交换分区

## 确保每个节点上 MAC 地址和 product_uuid 的唯一性

```
# 查看网卡Mac地址
ip link
ifconfig -a

# 查看 product_uuid
sudo cat /sys/class/dmi/id/product_uuid
```

> 一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 Kubernetes 使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装[失败](https://github.com/kubernetes/kubeadm/issues/31)。

## 检查网络适配器

如果你有一个以上的网络适配器，同时你的 Kubernetes 组件通过默认路由不可达，我们建议你预先添加 IP 路由规则， 这样 Kubernetes 集群就可以通过对应的适配器完成连接。

## 检查所需端口

### Kubernetes 端口和协议

**控制面**

| 协议 | 方向 | 端口范围  | 目的                    | 使用者               |
| ---- | ---- | --------- | ----------------------- | -------------------- |
| TCP  | 入站 | 6443      | Kubernetes API server   | 所有                 |
| TCP  | 入站 | 2379-2380 | etcd server client API  | kube-apiserver, etcd |
| TCP  | 入站 | 10250     | Kubelet API             | 自身, 控制面         |
| TCP  | 入站 | 10259     | kube-scheduler          | 自身                 |
| TCP  | 入站 | 10257     | kube-controller-manager | 自身                 |

尽管 etcd 的端口也列举在控制面的部分，但你也可以在外部自己托管 etcd 集群或者自定义端口。

**工作节点**

| 协议 | 方向 | 端口范围    | 目的               | 使用者       |
| ---- | ---- | ----------- | ------------------ | ------------ |
| TCP  | 入站 | 10250       | Kubelet API        | 自身, 控制面 |
| TCP  | 入站 | 30000-32767 | NodePort Services† | 所有         |

所有默认端口都可以重新配置。当使用自定义的端口时，你需要打开这些端口来代替这里提到的默认端口。

一个常见的例子是 API 服务器的端口有时会配置为 443。或者你也可以使用默认端口， 把 API 服务器放到一个监听 443 端口的负载均衡器后面，并且路由所有请求到 API 服务器的默认端口。

### 检查

```bash
# 启用这些必要的端口后才能使 Kubernetes 的各组件相互通信。 可以使用 netcat 之类的工具来检查端口是否启用，例如：

nc 127.0.0.1 6443
```

最简单的办法就是：**关闭防火墙**。

# 机器规划

| 机器          | 角色        | 软件                                                         |
| :------------ | ----------- | ------------------------------------------------------------ |
| 192.168.40.10 | k8s-master1 | docker，kube-apiserver，kube-controller-manager，kube-scheduler，etcd，keppalived，haproxy |
| 192.168.40.11 | k8s-master2 | docker，kube-apiserver，kube-controller-manager，kube-scheduler，etcd，keppalived，haproxy |
| 192.168.40.12 | k8s-master3 | docker，kube-apiserver，kube-controller-manager，kube-scheduler，etcd，keppalived，haproxy |
| 192.168.40.13 | k8s-node1   | docker，kubelet，kube-proxy                                  |

# 前置检查（all node）

> 集群内所有节点均需执行。

## yum源更新

```bash
cd /etc/yum.repos.d
# 1、备份原始 repo
cp CentOS-Base.repo CentOS-Base.repo.bak
# 2、下载国内 yum 源（阿里云）
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清理原先yum源
yum clean all
# 最后生成yum源缓存即可
yum makecache
```

## 前置依赖

```bash
# 一、yum install 前置依赖
sudo yum install -y conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

# 二、关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld
sudo systemctl status firewalld

# 三、关闭 selinux（这是允许容器访问主机文件系统所必需的，而这些操作是为了例如 Pod 网络工作正常）
## 永久关闭
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config

## 验证：
cat /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     disabled - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of disabled.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

# 四、关闭swap分区
## 临时关闭
swapoff -a &	# 稍等几分钟
free -m 		# 验证

## 永久关闭
vim /etc/fstab  ## 将swap分区那行记录注释掉
#/dev/mapper/cl-swap     swap                    swap    defaults        0 0

## 注意：该步骤需要重启Linux服务器，才能生效（sysctl --system命令无法生效关闭swap分区）

# 五、将桥接的 IPv4 流量传递到 iptables 的链
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 设置允许 数据包转发
echo 1 > /proc/sys/net/ipv4/ip_forward

# 验证
# 通过运行以下指令确认 br_netfilter 和 overlay 模块被加载：

lsmod | grep br_netfilter
lsmod | grep overlay

# 通过运行以下指令确认 net.bridge.bridge-nf-call-iptables、net.bridge.bridge-nf-call-ip6tables 和 net.ipv4.ip_forward 系统变量在你的 sysctl 配置中被设置为 1：

sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward

# 六、时间同步
sudo yum install ntpdate -y
ntpdate time.windows.com

# 七、避免containerd进程禁用了cri模块插件（需在安装完docker后执行！！）
sudo vim /etc/containerd/config.toml
## 注释掉：disabled_plugins = ["cri"]

sudo systemctl restart containerd

# 八、配置k8s组件yum源为阿里云yum源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 九、更新/etc/hosts（视自身情况进行更新）
cat >> /etc/hosts << EOF
192.168.40.10   k8s-master1
192.168.40.11   k8s-master2
192.168.40.12   k8s-master3
192.168.40.13   k8s-node1
EOF

# 十、系统生效 & 系统重启
sudo sysctl --system
```

# 安装容器运行时（all node）

> Kubernetes 官网for容器运行时：https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/#docker
>
> 使用 [`cri-dockerd`](https://github.com/Mirantis/cri-dockerd) 适配器来将 Docker Engine 与 Kubernetes 集成

此次安装采用docker-engine作为容器运行时。

## 安装 docker

> 查看Kubernetes各版本对应的docker版本：进入GitHub
>
> https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.27.md#v1273
>
> 全局搜索[docker]，即可看到对应的适配docker版本

**本文安装的Kubernetes版本为1.27.3，适配的docker版本为v20.10.21**

```bash
# 1、清理
## 清理旧版本
sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

## 卸载Docker Engine、CLI、Containerd和Docker Compose包
sudo yum remove docker-ce docker-ce-cli containerd.io docker-compose-plugin

## Images、containers、volumes或自定义的配置文件不会被自动删除，所以你需要手动执行
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
sudo rm -rf /etc/docker/
sudo rm -rf /var/run/docker
sudo rm -rf /var/run/dockershim.sock

# 2、设置yum源
sudo yum install -y yum-utils device-mapper-persistent-data lvm2

# 选项1、docker官方镜像仓库
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 选项2、阿里云镜像（推荐）
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 3、安装(最新版本)
sudo yum install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

## 安装指定版本
### 查看version list
sudo yum list docker-ce --showduplicates | sort -r
docker-ce.x86_64            3:20.10.19-3.el7                   docker-ce-stable
docker-ce.x86_64            3:20.10.18-3.el7                   docker-ce-stable

### install 指定版本
# sudo yum install -y docker-ce-3:20.10.21-3.el7 docker-ce-cli-3:20.10.21-3.el7 containerd.io docker-buildx-plugin docker-compose-plugin

# sudo yum install docker-ce-3:20.10.21-3.el7 docker-ce-cli-3:20.10.21-3.el7 containerd.io docker-buildx-plugin docker-compose-plugin

sudo yum install docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io

# 4、启动docker
sudo systemctl start docker

# 5. 修改 Docker 配置文件
cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"],
    "insecure-registries": ["192.168.40.13:8083"]
}
EOF

# 避免containerd进程禁用了cri模块插件（需在安装完docker后执行！！）
sudo vim /etc/containerd/config.toml
## 注释掉：disabled_plugins = ["cri"]

# 6. 重启docker
sudo systemctl restart docker

# 7、设置开机自启动
systemctl enable docker
```

## docker配置cgroup驱动

需要确保**容器运行时**和 **kubelet** 所使用的是**相同的 cgroup 驱动**，否则 kubelet 进程会失败。

>  **说明：** 在版本 1.22 及更高版本中，如果用户没有在 `KubeletConfiguration` 中设置 `cgroupDriver` 字段， `kubeadm` 会将它设置为默认值 `systemd`。

```bash
cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

systemctl restart docker
```

其他关于配置cgroup：https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/kubeadm/configure-cgroup-driver/#%E9%85%8D%E7%BD%AE-kubelet-%E7%9A%84-cgroup-%E9%A9%B1%E5%8A%A8

## 安装 cri-dockerd

> cri-dockerd GitHub：https://github.com/Mirantis/cri-dockerd/tree/v0.3.4

**官方介绍**：

This adapter provides a shim for [Docker Engine](https://docs.docker.com/engine/) that lets you control Docker via the Kubernetes [Container Runtime Interface](https://github.com/kubernetes/cri-api#readme).

**使用原因**：

自Kubernetes 1.24+后，k8s移除dockershim，使用 [`cri-dockerd`](https://github.com/Mirantis/cri-dockerd) 适配器来将 Docker Engine 与 Kubernetes 集成。

本文使用```rpm包```来安装cri-dockerd：https://github.com/Mirantis/cri-dockerd/releases/tag/v0.3.4

```bash
# 查看服务器架构
arch 	# x86_64，x64，AMD64基本上是同一个东西

# 下载
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el7.x86_64.rpm

# 安装
rpm -ivh cri-dockerd-0.3.4-3.el7.x86_64.rpm

# 启动
systemctl daemon-reload && systemctl enable cri-docker.socket
systemctl start cri-docker.socket cri-docker

# 验证
systemctl status cri-docker.socket cri-docker

# or
ls -al /var/run/cri-dockerd.sock
```

### 更新配置

**备份**：

```bash
mv /usr/lib/systemd/system/cri-docker.service{,.default}
vim /usr/lib/systemd/system/cri-docker.service 
```

**配置信息**：

```bash
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
```

**重启**：

```bash
systemctl daemon-reload
systemctl restart cri-docker.service
```

## （可选）下面的表格包括被支持的操作系统的已知端点

| 运行时                            | Unix 域套接字                                |
| --------------------------------- | -------------------------------------------- |
| containerd                        | `unix:///var/run/containerd/containerd.sock` |
| CRI-O                             | `unix:///var/run/crio/crio.sock`             |
| Docker Engine（使用 cri-dockerd） | `unix:///var/run/cri-dockerd.sock`           |

# 安装 kubeadm、kubelet 和 kubectl（all node）

你需要在**每台机器上**安装以下的软件包：

- `kubeadm`：用来初始化集群的指令。
- `kubelet`：在集群中的每个节点上用来启动 Pod 和容器等。
- `kubectl`：用来与集群通信的命令行工具。

```bash
sudo yum install -y kubelet-1.27.3-0 kubeadm-1.27.3-0 kubectl-1.27.3-0

sudo systemctl enable --now kubelet
```

**kubelet 现在每隔几秒就会重启，因为它陷入了一个等待 kubeadm 指令的死循环**。

# 准备容器镜像 (all node)

`kubeadm init` 和 `kubeadm join` 下载存放在 `registry.k8s.io` 上的默认的容器镜像。但国内网络无法直接访问 `registry.k8s.io` （科学上网除外），所以一般使用国内第三方提供的容器镜像，例如：阿里云镜像仓库等。

## 使用kubeadm生成配置文件

```bash
kubeadm config print init-defaults > ./kubeadm-init-conf.yml
```

> 该 kubeadm-init-conf.yml 文件，作为 kubeadm init 初始化集群的配置文件。

### 完整的配置文件

> 注意：带注释的相关配置行，是需要结合自身情况而更改的。

```yml
cat > kubeadm-init-conf.yml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.40.10   	# 设置k8s-master1 ip
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master1 					# use k8s-master1 节点的域名
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers    # use aliyun repo
kind: ClusterConfiguration
# controlPlaneEndpoint: "192.168.40.9:16443" 		# 高可用部署时使用，该ip为VIP
kubernetesVersion: 1.27.3							# Kubernetes 版本
networking:
  dnsDomain: cluster.local
  podSubnet: "10.244.0.0/16"    					# 配置 POD 所在网段为我们虚拟机不重叠的网段（这里用的是 Flannel 默认网段）
  serviceSubnet: 10.96.0.0/12
scheduler: {}
---
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd								# 设置kubelet的cgroup驱动为systemd（自1.22版本后，kubelet默认cgroup驱动为systemd）
EOF
```

## 在线安装

在线安装：指的是使用**指定的国内镜像仓库**来获取k8s所需的容器镜像。

官方wiki - 使用自定义镜像仓库：https://kubernetes.io/zh-cn/docs/reference/setup-tools/kubeadm/kubeadm-init/#custom-images

这里使用阿里云镜像仓库，更改以下配置：

```yml
imageRepository: registry.aliyuncs.com/google_containers
```

## 离线安装

离线安装：顾名思义，在无法连接互联网的情况下，部署k8s集群。

此时，需要提前将k8s控制平面所需的容器镜像下载下来：

```bash
# 配置 阿里云镜像仓库
imageRepository: registry.aliyuncs.com/google_containers

# 在有网环境下，提前拉取镜像
kubeadm config images list --config=./kubeadm-init-conf.yml
kubeadm config images pull --config=./kubeadm-init-conf.yml

# 将所需镜像保存为tar包，用于上传至内网
docker save -o <path/image_name.tar> image:tag
```

# 初始化控制平面（kubeadm init）

下述wiki，详细描述了初始化操作的一些细节，感兴趣可前往浏览。

官网wiki： https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#initializing-your-control-plane-node

```bash
# 增加--upload-certs参数后，在join master节点时，自动将证书同步到目标节点（join节点）
kubeadm init --config kubeadm-init-conf.yml --upload-certs
```

## 配置kubectl环境变量

要使非 root 用户可以运行 kubectl，请运行以下命令， 它们也是 `kubeadm init` 输出的一部分：

```bash
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
```

或者，如果你是 `root` 用户，则可以运行：

```bash
export KUBECONFIG=/etc/kubernetes/admin.conf
```

>  **警告：**
>
>  kubeadm 对 `admin.conf` 中的证书进行签名时，将其配置为 `Subject: O = system:masters, CN = kubernetes-admin`。 `system:masters` 是一个例外的、超级用户组，可以绕过鉴权层（例如 RBAC）。 不要将 `admin.conf` 文件与任何人共享，应该使用 `kubeadm kubeconfig user` 命令为其他用户生成 kubeconfig 文件，完成对他们的定制授权。 更多细节请参见[为其他用户生成 kubeconfig 文件](https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/kubeadm/kubeadm-certs#kubeconfig-additional-users)。

## 保存 join命令

该join命令的token时效为24H

```bash
# join master:
kubeadm join 192.168.40.9:16443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:c069af55467f1676ef395c1729ce346257e76f9860f54cb17d69dd9e29eb81ca \
--control-plane --certificate-key 648c5df010dfb94f0241838d34d542a38064ae6aad666be00be75ed76df6c5e8

# join node:
kubeadm join 192.168.40.9:16443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:c069af55467f1676ef395c1729ce346257e76f9860f54cb17d69dd9e29eb81ca

```

join 需要**末尾添加**命令：

```bash
--cri-socket unix:///var/run/cri-dockerd.sock
```

# 安装 Pod 网络插件

> **注意：**
>
> 本节包含有关网络设置和部署顺序的重要信息。 在继续之前，请仔细阅读所有建议。
>
> **你必须部署一个基于 Pod 网络插件的 [容器网络接口](https://kubernetes.io/zh-cn/docs/concepts/extend-kubernetes/compute-storage-net/network-plugins/) (CNI)，以便你的 Pod 可以相互通信。 在安装网络之前，集群 DNS (CoreDNS) 将不会启动。**
>
> - 注意你的 Pod 网络不得与任何主机网络重叠： 如果有重叠，你很可能会遇到问题。 （如果你发现网络插件的首选 Pod 网络与某些主机网络之间存在冲突， 则应考虑使用一个合适的 CIDR 块来代替， 然后在执行 `kubeadm init` 时使用 `--pod-network-cidr` 参数并在你的网络插件的 YAML 中替换它）。
>
> - 默认情况下，`kubeadm` 将集群设置为使用和强制使用 [RBAC](https://kubernetes.io/zh-cn/docs/reference/access-authn-authz/rbac/)（基于角色的访问控制）。 确保你的 Pod 网络插件支持 RBAC，以及用于部署它的清单也是如此。
>
> - 如果要为集群使用 IPv6（双协议栈或仅单协议栈 IPv6 网络）， 请确保你的 Pod 网络插件支持 IPv6。 IPv6 支持已在 CNI [v0.6.0](https://github.com/containernetworking/cni/releases/tag/v0.6.0) 版本中添加。

你可以使用以下命令在**控制平面节点**或**具有 kubeconfig 凭据的节点**上**安装 Pod 网络附加组件**：

```bash
kubectl apply -f kube-flannel.yml
```

每个集群只能安装一个 Pod 网络。

安装 Pod 网络后，你可以通过在 `kubectl get pods --all-namespaces` 输出中检查 CoreDNS Pod 是否 `Running` 来确认其是否正常运行。 一旦 CoreDNS Pod 启用并运行，你就可以继续加入节点。

如果你的网络无法正常工作或 CoreDNS 不在 `Running` 状态，请查看 `kubeadm` 的[故障排除指南](https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/troubleshooting-kubeadm/)。

**kube-flannel.yml 文件**：

```bash
cat > kube-flannel.yml << EOF
---
kind: Namespace
apiVersion: v1
metadata:
  name: kube-flannel
  labels:
    pod-security.kubernetes.io/enforce: privileged
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
rules:
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-flannel
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
  namespace: kube-flannel
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-flannel
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-flannel
  labels:
    tier: node
    app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/os
                operator: In
                values:
                - linux
      hostNetwork: true
      priorityClassName: system-node-critical
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni-plugin
       #image: flannelcni/flannel-cni-plugin:v1.1.0 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.0
        command:
        - cp
        args:
        - -f
        - /flannel
        - /opt/cni/bin/flannel
        volumeMounts:
        - name: cni-plugin
          mountPath: /opt/cni/bin
      - name: install-cni
       #image: flannelcni/flannel:v0.20.1 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel:v0.20.1
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
       #image: flannelcni/flannel:v0.20.1 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel:v0.20.1
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
          limits:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: false
          capabilities:
            add: ["NET_ADMIN", "NET_RAW"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: EVENT_QUEUE_DEPTH
          value: "5000"
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
        - name: xtables-lock
          mountPath: /run/xtables.lock
      volumes:
      - name: run
        hostPath:
          path: /run/flannel
      - name: cni-plugin
        hostPath:
          path: /opt/cni/bin
      - name: cni
        hostPath:
          path: /etc/cni/net.d
      - name: flannel-cfg
        configMap:
          name: kube-flannel-cfg
      - name: xtables-lock
        hostPath:
          path: /run/xtables.lock
          type: FileOrCreate
EOF
```

# 控制平面节点隔离

**默认情况下，出于安全原因，你的集群不会在控制平面节点上调度 Pod**。 如果你希望能够在控制平面节点上调度 Pod，例如单机 Kubernetes 集群，请运行:

```bash
kubectl taint nodes --all node-role.kubernetes.io/control-plane-
```

输出看起来像：

```
node "test-01" untainted
...
```

这将从任何拥有 `node-role.kubernetes.io/control-plane:NoSchedule` 污点的节点（包括控制平面节点）上移除该污点。 这意味着调度程序将能够在任何地方调度 Pod。

# 加入节点

## kubeadm join（理论）

节点是你的工作负载（容器和 Pod 等）运行的地方。要将新节点添加到集群，请对每台计算机执行以下操作：

- SSH 到机器

- 成为 root （例如 `sudo su -`）

- 必要时[安装一个运行时](https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#installing-runtime)

- 运行 `kubeadm init` 输出的命令，例如：

```bash
  kubeadm join --token <token> <control-plane-host>:<control-plane-port> --discovery-token-ca-cert-hash sha256:<hash>
  ```

输出应类似于：

```console
[preflight] Running pre-flight checks

... (log output of join workflow) ...

Node join complete:
* Certificate signing request sent to control-plane and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on control-plane to see this machine join.
```

几秒钟后，当你在控制平面节点上执行 `kubectl get nodes`，你会注意到该节点出现在输出中。

> **说明：**
>
> 由于集群节点通常是按顺序初始化的，CoreDNS Pod 很可能都运行在第一个控制面节点上。 为了提供更高的可用性，请在加入至少一个新节点后 使用 `kubectl -n kube-system rollout restart deployment coredns` 命令，重新平衡这些 CoreDNS Pod。

## 获取令牌token（理论）

如果没有令牌，可以通过在控制平面节点上运行以下命令来获取令牌：

```bash
kubeadm token list
```

输出类似于以下内容：

```console
TOKEN                    TTL  EXPIRES              USAGES           DESCRIPTION            EXTRA GROUPS
8ewj1p.9r9hcjoqgajrj4gi  23h  2018-06-12T02:51:28Z authentication,  The default bootstrap  system:
                                                   signing          token generated by     bootstrappers:
                                                                    'kubeadm init'.        kubeadm:
                                                                                           default-node-token
```

## 令牌token过期-创建新令牌（理论）

默认情况下，令牌会在 24 小时后过期。如果要在当前令牌过期后将节点加入集群， 则可以通过在控制平面节点上运行以下命令来创建新令牌：

```bash
kubeadm token create
```

输出类似于以下内容：

```console
5didvk.d09sbcov8ph2amjw
```

如果你没有 `--discovery-token-ca-cert-hash` 的值，则可以通过在控制平面节点上执行以下命令链来获取它：

```bash
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'
```

输出类似于以下内容：

```console
8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78
```

## join master （实操）

## join worker（实操）

```bash
# join node:
kubeadm join 192.168.40.9:16443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:c069af55467f1676ef395c1729ce346257e76f9860f54cb17d69dd9e29eb81ca \
--cri-socket unix:///var/run/cri-dockerd.sock
```

# 清理

如果你在集群中使用了一次性服务器进行测试，则可以关闭这些服务器，而无需进一步清理。 你可以使用 `kubectl config delete-cluster` 删除对集群的本地引用。

但是，如果要更干净地取消配置集群， 则应首先[清空节点](https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#drain)并确保该节点为空， 然后取消配置该节点。

## 删除节点

使用适当的凭证与控制平面节点通信，运行：

```bash
kubectl drain <node name> --delete-emptydir-data --force --ignore-daemonsets
```

在删除节点之前，请重置 `kubeadm` 安装的状态：

```bash
kubeadm reset
```

重置过程不会重置或清除 iptables 规则或 IPVS 表。如果你希望重置 iptables，则必须手动进行：

```bash
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
```

如果要重置 IPVS 表，则必须运行以下命令：

```bash
ipvsadm -C
```

现在删除节点：

```bash
kubectl delete node <节点名称>
```

如果你想重新开始，只需运行 `kubeadm init` 或 `kubeadm join` 并加上适当的参数。

## 清理控制平面

你可以在控制平面主机上使用 `kubeadm reset` 来触发尽力而为的清理。

有关此子命令及其选项的更多信息，请参见 [`kubeadm reset`](https://kubernetes.io/zh-cn/docs/reference/setup-tools/kubeadm/kubeadm-reset/) 参考文档。

# Kubernetes 官方文档集锦

| 标题               | 链接                                                         |
| ------------------ | ------------------------------------------------------------ |
| 配置cgroup相关内容 | https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/kubeadm/configure-cgroup-driver/ |
| 版本偏差策略       | https://kubernetes.io/zh-cn/releases/version-skew-policy/#supported-versions |
| kubeadm init       | https://kubernetes.io/zh-cn/docs/reference/setup-tools/kubeadm/kubeadm-init/#custom-images |
|                    |                                                              |
|                    |                                                              |
|                    |                                                              |
|                    |                                                              |
|                    |                                                              |

华为云-博文 安装1.24+版本k8s：https://bbs.huaweicloud.com/blogs/373941

上一篇：Nginx 参考资料下一篇：Nginx 配置外部.conf

你觉得文章怎么样