耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

K8s 集群搭建(kubeadm方式)

发布时间：2023-04-03 作者：gengyufei 来源：gengyufei个人博客

Kubernetes

# 前置知识
目前生产部署 Kubernetes 集群主要有两种方式：
（1）kubeadm
Kubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部署 Kubernetes 集群。
官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

（2）二进制包
从 github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。

# kubeadm 部署方式介绍
kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：
第一、创建一个 Master 节点 kubeadm init
第二， 将 Node 节点加入到当前集群中 ```kubeadm join <Master IP:端口>```

## 安装要求
在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：
- 一台或多台机器，操作系统 CentOS7.x-86_x64
- 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多- 集群中所有机器之间网络互通
- 可以访问外网，需要拉取镜像
- 禁止 swap 分区

## 最终目标
（1）在所有节点上安装 Docker 和 kubeadm
（2）部署 Kubernetes Master
（3）部署容器网络插件CNI
（4）部署 Kubernetes Node，将节点加入 Kubernetes 集群中
（5）部署 Dashboard Web 页面，可视化查看 Kubernetes 资源

| 角色 | IP |
| :-----| ----: |
| k8s-master | 192.168.31.61 |
| k8s-node1 | 192.168.31.62 |
| k8s-node2 | 192.168.31.63 |

## 系统初始化
### 提前安装前置依赖
```
# 提前安装前置依赖
sudo yum install -y conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
```

### 关闭防火墙：
```
# 查看防火墙状态
sudo systemctl status firewalld
sudo service  iptables status

# 暂时关闭防火墙
sudo systemctl stop firewalld
sudo service  iptables stop

# 永久关闭防火墙
sudo systemctl disable firewalld
sudo chkconfig iptables off

# 重启防火墙
sudo systemctl enable firewalld
sudo service iptables restart 
```

### 关闭 selinux：
```
# 永久
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config

# 临时
setenforce 0

# 验证
$ cat /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     disabled - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of disabled.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

```

### 关闭 swap：
#### 临时关闭
```
# 临时
$ swapoff -a 
```

#### 永久关闭

查看/etc/fstab 
```
[root@centos8 ~]# more /etc/fstab 
找到swap分区的记录：

...
/dev/mapper/cl-root     /                       xfs     defaults        0 0
UUID=f384615e-7c71-43b0-876c-45e8f08cfa6e /boot                   ext4    defaults        1 2
/dev/mapper/cl-home     /home                   xfs     defaults        0 0
/dev/mapper/cl-swap     swap                    swap    defaults        0 0
```

把加载swap分区的那行记录注释掉即可
```
#/dev/mapper/cl-swap     swap                    swap    defaults        0 0
```

重启机器
```
[root@centos8 ~]# systemctl reboot
```

再用free -m检查一下
```
[liuhongdi@centos8 ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:           3757        1127        1906          17         722        2370
Swap:             0           0           0
```

参考链接：https://www.cnblogs.com/architectforest/p/12982886.html

### 主机名：
```
$ hostnamectl set-hostname <hostname>

sudo hostnamectl set-hostname k8s-master
```

### 在 master 添加 hosts：
```
sudo cat >> /etc/hosts << EOF
172.17.201.16 k8s-master
EOF
```

### 将桥接的 IPv4 流量传递到 iptables 的链：
```
sudo cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
```

### 系统生效
```
# 生效
sudo sysctl --system
```

### 时间同步：
```
$ sudo yum install ntpdate -y
$ ntpdate time.windows.com
```

## 所有节点安装 Docker/kubeadm/kubelet
Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。
> 注意：Kubernete 在 v1.23 发行版中已将 Dockershim 从 Kubelet 中删除，从而删除了对 Docker 作为容器运行时的支持

### 安装 Docker
#### 常规操作（VMware虚拟机安装docker）
```
mv /etc/yum.repos.d/docker-ce.repo /etc/yum.repos.d/docker-ce.repo.bak
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce-20.10.11-3.el7 docker-ce-cli-20.10.11-3.el7
systemctl enable docker && systemctl start docker
docker --version
```

#### 阿里云ecs 安装Docker
```
https://help.aliyun.com/document_detail/264695.html
选择：安装社区版Docker（docker-ce）

# 相关命令（step by step）
sudo yum -y install dnf 	# dnf是新一代的rpm软件包管理器

sudo dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 添加docker-ce的dnf源

sudo dnf -y install dnf-plugin-releasever-adapter --repo alinux3-plus   # 安装Alibaba Cloud Linux 3专用的dnf源兼容插件

yum list docker-ce --showduplicates		# 查看docker版本

# 使用阿里云 dnf 下载指定版本的 docker service 以及 docker cli（注意：若docker-cli不指定版本，则默认下载最新版本）
sudo dnf -y install docker-ce-20.10.11-3.el8 docker-ce-cli-20.10.11-3.el8 --nobest

dnf list docker-ce 		# 查看docker-ce是否成功安装

# 回显信息如下图所示，表示docker-ce成功安装:
已安装的软件包
docker-ce.x86_64                          3:23.0.3-1.el8                         @docker-ce-stable
```

启动docker
```
# 启动docker服务
sudo systemctl start docker

# 查看docker服务状态
sudo systemctl status docker
```

#### 避免containerd进程禁用了cri模块插件
```
方法一：
sudo vim /etc/containerd/config.toml
注释掉：disabled_plugins = ["cri"]

方法二：
rm -fr /etc/containerd/config.toml

最后，均需重启：
sudo systemctl restart containerd
```

#### 普通用户访问 docker.sock
```
sudo chown <普通用户-name> /var/run/docker.sock
sudo chown ecs-user /var/run/docker.sock
```

#### 修改docker默认存储位置
```
# 数据迁移
mv /var/lib/docker <target_dir>/docker

# 软链接
ln -s <target_dir>/docker /var/lib/docker

# 重启
systemctl restart docker
```

### 安装 kubeadm，kubelet 和 kubectl
#### 添加阿里云 YUM 软件源
1、设置仓库地址

```
# 1. 修改 Docker 配置文件
cat > /etc/docker/daemon.json << EOF
{
	"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
	"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

# 2. 重启docker
sudo systemctl restart docker
```

2、添加 yum 源

```
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
```

3、安装 kubeadm，kubelet 和 kubectl
> 注意： master节点需要安装 kubeadm，kubelet 和 kubectl， Node节点只需安装 kubeadm，kubelet

```
# yum 下载
sudo yum install -y kubelet-1.21.5-0 kubeadm-1.21.5-0 kubectl-1.21.5-0
```

kubeadm 将使用 kubelet 服务以容器方式部署和启动Kubernetes的主要服务，所以需要先启动 kubelet 服务。
```
# 启动 kubelet 服务
sudo systemctl start kubelet

# 设置开机自启动
sudo systemctl enable kubelet
```

## 部署 Kubernetes Master
### 在 Master 执行
#### kubeadm init
```
检查： 
    1）注意版本要与kubectl、kubelet一致
	2）注意apiserver的内网IP，要与实际情况一致
sudo kubeadm init \
--apiserver-advertise-address=172.31.0.4 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.21.5 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

# 其中
172.28.189.65 是master节点在局域网中的IP
```
由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。

#### kubeadm join
> kubeadm join 只需要非Master节点上执行！！！
上述命令执行成功后，会出现如下类似命令：
```
kubeadm join 172.17.201.16:6443 --token 8o25so.kum8xob3omezp476 \
    --discovery-token-ca-cert-hash sha256:7c2070fb12cdce193a40b8cffd2628e3d66646d7be127ddebeb8de43080dba84
```

默认token有效期为24小时，当过期之后，该token就不可用了。

> 番外篇： token 改为永不过期

```
第一步：
kubeadm token create --ttl 0	#生成一条不过期的token，记住这个输出
zaq68y.ipttfuococcy0a24			#假如这个是  M

kubeadm token list		#查看所有token，能看到<foever>的一条
TOKEN                     TTL         EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS
ss7gem.3ygl2ns5vb97pwoj   23h         2021-07-11T17:30:17+08:00   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token
zaq68y.ipttfuococcy0a24   <forever>   <never>                     authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'					#获取ca证书sha256编码hash值，记住这个输出
6f10af451515794c88db6f217db44e81d9fe326edf969489dd50214e5994689c		#假如这个是  N

第二步：

只需要在node结点执行

#  加入命令 kubeadm join 192.168.137.201:6443 --token M \
#    --discovery-token-ca-cert-hash sha256:N
# 注意M和N的替换

kubeadm join 192.168.137.201:6443 --token zaq68y.ipttfuococcy0a24 \
    --discovery-token-ca-cert-hash sha256:6f10af451515794c88db6f217db44e81d9fe326edf969489dd50214e5994689c
```

#### 使用 kubectl 工具：
> 注意：下面的命令，是为当前用户（ecs-user），提供config信息
```
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
```

#### 查看Node状态
```
kubectl get nodes
```

### 在 Node 节点执行
#### Node节点系统准备
> 与master节点系统准备的过程是一致的

1、安装 kubeadm 和 kubelet（在Node上无需安装kubectl）：
```
sudo yum install -y kubelet-1.18.0-0 kubeadm-1.18.0-0
```

2、运行 systemctl start 命令启动kubelet服务，并设置为开机自启动：
```
sudo systemctl start kubelet
sudo systemctl enable kubelet
```

#### kubeadm join 将Node节点加入集群
使用 kubeadm join 命令加入集群，可以从安装 Master 节点的成功提示内容中复制完整的命令，例如：
```
kubeadm join 172.17.201.16:6443 --token 8o25so.kum8xob3omezp476 \
    --discovery-token-ca-cert-hash sha256:7c2070fb12cdce193a40b8cffd2628e3d66646d7be127ddebeb8de43080dba84
```

#### 确认Node节点已加入集群
在Master节点执行如下命令：
```
kubectl get nodes
```
截止目前，各个节点的状态处于**NotReady**，继续执行下面的步骤。

## 安装 Pod 网络插件（CNI）
运行 kubeadm init 和 join 命令后，Kubernetes 提示各个节点均为 NotReady 状态，这是因为还没有安装 CNI 网络插件。

### 方式一：
```
$ kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
```
有时在国内网络，无法访问上述URL。则转到下面：

### 方式二：
#### 获取 kube-flannel.yml
```
# 获取网址
https://blog.csdn.net/xzhh126/article/details/127906157
备用网址：http://gyfblog.com/article/80/

# 保存
# 将网址中的yml内容，保存至该文件中
vim ./kube-flannel.yml
```

#### 执行
> 注意：当前用户为ecs-user， 而且上述《使用 kubectl 工具》章节，也是为ecs-user配置的config，故下面的命令无需sudo
```
$ kubectl apply -f ./kube-flannel.yml
namespace/kube-flannel created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created
```

### 验证
```
$ kubectl get pods -n kube-system
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-7ff77c879f-ll4dj             1/1     Running   0          26m
coredns-7ff77c879f-v5hpg             1/1     Running   0          26m
etcd-k8s-master                      1/1     Running   0          26m
kube-apiserver-k8s-master            1/1     Running   0          26m
kube-controller-manager-k8s-master   1/1     Running   0          26m
kube-proxy-qfp6p                     1/1     Running   0          26m
kube-scheduler-k8s-master            1/1     Running   0          26m

# 等待上述组件处于 running状态后，继续验证
$ kubectl get nodes
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   27m   v1.18.0
```
确保能够访问到 quay.io 这个 registery。如果 Pod 镜像下载失败，可以改这个镜像地址

## 将master节点作为node节点
在初始安装的 Master 节点上也启动了 kubelet 和Kube-proxy，在默认情况下，Master节点并不参与工作负载的调度。如果希望 Master节点也作为 Node 角色，则可以执行：
```
# 单机版k8s，意思是：允许master节点，当做worker节点使用
kubectl taint nodes --all node-role.kubernetes.io/master-
```

## 测试 kubernetes 集群
在 Kubernetes 集群中创建一个 pod，验证是否正常运行：
```
# 创建pod
kubectl create deployment nginx --image=nginx

# 等待上述pod状态为running后，再执行expose命令
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc
```
访问地址：http://NodeIP:Port

# 报错解决记录
## [ERROR CRI]
报错现象
```
[ERROR CRI]: container runtime is not running: output: time="2022-05-04T16:22:53+08:00" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"
```

解决：
```
https://www.cnblogs.com/lmgsanm/p/16221470.html
```

## [ERROR Port-10250]: Port 10250 is in use
```
sudo netstat -ntlup|grep 10250
tcp6       0      0 :::10250                :::*                    LISTEN      935471/kubelet

sudo kill -9 935471
```

## 中间重新执行 kubeadm init 的前置操作
删除文件
```
sudo rm -rf /etc/kubernetes/manifests/kube-apiserver.yaml /etc/kubernetes/manifests/kube-controller-manager.yaml /etc/kubernetes/manifests/kube-scheduler.yaml /etc/kubernetes/manifests/etcd.yaml
```

kill 进程
```
sudo netstat -ntlup|grep 10250
tcp6       0      0 :::10250                :::*                    LISTEN      935471/kubelet

sudo kill -9 935471
```

上一篇：K8s 概述下一篇：K8s 集群搭建(二进制安装)

你觉得文章怎么样