耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

K8s Storage Classes

发布时间：2023-04-18 作者：gengyufei 来源：gengyufei个人博客

Kubernetes

[Storage Classes](https://kubernetes.io/docs/concepts/storage/storage-classes/ "Storage Classes")
# 概述
StorageClass为管理员提供了一种方法来描述他们所提供的存储的“类”。不同的类可能映射到服务质量级别，或映射到备份策略，或映射到集群管理员确定的任意策略。Kubernetes本身对class所代表的东西并不敏感。在其他存储系统中，这个概念有时称为“配置文件”。

# StorageClass资源
每个StorageClass包含字段 provisioner, parameters, and reclaimPolicy，当属于该类的PersistentVolume需要动态供应时使用这些字段。

StorageClass对象的名称非常重要，用户可以通过它请求特定的类。管理员在第一次创建StorageClass对象时设置类的名称和其他参数，对象创建后不能再更新。

管理员只能为【不请求绑定任何特定类的pvc】指定默认的StorageClass:有关详细信息，请参阅[PersistentVolumeClaim](https://kubernetes.io/docs/concepts/storage/persistent-volumes/#persistentvolumeclaims "PersistentVolumeClaim")部分。

```
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2
reclaimPolicy: Retain
allowVolumeExpansion: true
mountOptions:
  - debug
volumeBindingMode: Immediate
```

## Provisioner供应器
每个StorageClass都有一个供应器，它决定使用哪个volume plugin来供应pv。该字段必须指定。

| Volume Plugin | Internal Provisioner  | Config Example |
|  ----  | ----  |
| AWSElasticBlockStore  | ✓ | AWS EBS
| AzureFile   | ✓   | Azure File|
| AzureDisk   | ✓   | Azure Disk|
| CephFS  | -   | -|
| Cinder  | ✓   | OpenStack Cinder|
| FC  | -   | -|
| FlexVolume  | -   | -|
| GCEPersistentDisk   | ✓   | GCE PD|
| iSCSI   | -   | -|
| NFS | -   | NFS|
| RBD | ✓   | Ceph RBD|
| VsphereVolume   | ✓   | vSphere|
| PortworxVolume  | ✓   | Portworx Volume|
| Local   | -   | [Local](https://kubernetes.io/docs/concepts/storage/storage-classes/#local "Local")|

可以不必局限于上述列出的“内部”提供程序（其名称以“kubernetes.io”为前缀，与kubernetes一起提供）。也可以运行和指定外部provisioner，前提是遵循Kubernetes定义的规范的独立程序。外部provisioner的作者可以全权决定他们的代码位于何处，provisioner是如何提供的，它需要如何运行，它使用的是什么卷插件（包括Flex）等。存储库 [kubernetes-sigs/sig-storage-lib-external-provisioner](https://github.com/kubernetes-sigs/sig-storage-lib-external-provisioner "kubernetes-sigs/sig-storage-lib-external-provisioner") 用于编写实现大部分规范的外部provisioners。一些外部提供程序列在库 [kubernetes-sigs/sig-storage-lib-external-provisioner](https://github.com/kubernetes-sigs/sig-storage-lib-external-provisioner "kubernetes-sigs/sig-storage-lib-external-provisioner").

例如，NFS不提供内部provisioner，但可以使用外部provisioner。也有第三方存储供应商提供自己的外部provisioner的情况。

## Reclaim Policy 回收政策
由StorageClass动态创建的PersistentVolumes将在该类的reclaimPolicy字段中指定回收策略，该字段可以是Delete或Retain(保留)。如果在创建StorageClass对象时未指定reclaimPolicy，则它将默认为Delete。

手动创建并通过StorageClass管理的PersistentVolume将具有创建时分配的任何回收策略

## Allow Volume Expansion允许卷扩展
FEATURE STATE: Kubernetes v1.11 [beta]
PersistentVolumes可以配置为可扩展。此功能设置为true时，允许用户通过编辑相应的PVC对象来调整体积大小。

当基础StorageClass的字段allowVolumeExpansion设置为true时，以下类型的卷支持卷扩展。

| Volume type | Required Kubernetes version |
|  ----  | ----  |
| gcePersistentDisk   | 1.11 |
| awsElasticBlockStore    | 1.11 |
| Cinder  | 1.11 |
| rbd | 1.11 |
| Azure File  | 1.11 |
| Azure Disk  | 1.11 |
| Portworx    | 1.11 |
| FlexVolume  | 1.13 |
| CSI | 1.14 (alpha), 1.16 (beta) |

> 注意：您只能使用卷扩展功能来增长卷，而不能收缩卷。

## Mount Options挂载选项
由StorageClass动态创建的PersistentVolumes将具有在该类的mountOptions字段中指定的装载选项。

如果卷插件不支持装载选项，但指定了装载选项，则配置将失败。装载选项未在类或PV上进行验证。如果安装选项无效，则PV安装失败

## Volume Binding Mode数据卷绑定模式
volumeBindingMode字段控制：**应在何时进行卷绑定和动态设置**。**未设置时，默认情况下使用“立即”模式**。

**即时模式表示一旦创建了PersistentVolumeClaim，就会进行卷绑定和动态配置**。对于拓扑受限且无法从群集中的所有节点全局访问的存储后端，将在【不知道Pod的调度要求】的情况下绑定或配置PersistentVolumes。这可能会导致Pod无法调度。

集群管理员可以通过**指定WaitForFirstConsumer模式来解决这个问题**，该模式将延迟PersistentVolume的绑定和供应，直到使用PersistentVolumeClaim的Pod被创建。PersistentVolumes将根据Pod的调度约束指定的拓扑进行选择或供应。这些包括但不限于资源需求、节点选择器、荚果亲和性和反亲和性以及污染和容差。

**以下插件通过动态配置支持WaitForFirstConsumer**：
1. AWSElasticBlockStore
2. GCEPersistentDisk
3. AzureDisk

**以下插件通过预先创建的PersistentVolume绑定支持WaitForFirstConsumer**：
1. All of the above
2. Local

**FEATURE STATE: Kubernetes v1.17 [stable]**

CSI卷也支持动态资源调配和预先创建的PV，但您需要查看特定CSI驱动程序的文档，以查看其支持的拓扑密钥和示例。
> 注：
如果选择使用WaitForFirstConsumer，请不要在Pod规范中使用nodeName来指定节点相关性。如果在这种情况下使用nodeName，那么调度程序将被绕过，PVC将保持挂起状态。

在这种情况下，您可以使用**节点选择器作为主机名**，如下所示。
```
apiVersion: v1
kind: Pod
metadata:
  name: task-pv-pod
spec:
  nodeSelector:
    kubernetes.io/hostname: kube-01
  volumes:
    - name: task-pv-storage
      persistentVolumeClaim:
        claimName: task-pv-claim
  containers:
    - name: task-pv-container
      image: nginx
      ports:
        - containerPort: 80
          name: "http-server"
      volumeMounts:
        - mountPath: "/usr/share/nginx/html"
          name: task-pv-storage
```

## Allowed Topologies允许的拓扑
当集群运营商指定WaitForFirstConsumer卷绑定模式时，在大多数情况下不再需要将配置限制为特定拓扑。但是，如果仍然需要，可以指定allowedTopologies。

此示例演示了如何将已配置卷的拓扑结构限制为特定区域，并应用于替换受支持插件的区域和区域参数。

```
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: kubernetes.io/gce-pd
parameters:
  type: pd-standard
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
  - key: failure-domain.beta.kubernetes.io/zone
    values:
    - us-central-1a
    - us-central-1b
```

# Parameters
存储类具有描述属于该存储类的卷的参数。根据供应商的不同，可以接受不同的参数。例如，参数类型的值io1和参数iopsPerGB特定于EBS。当参数被省略时，会使用一些默认值。

一个StorageClass最多可以定义512个参数。参数对象的总长度（包括其键和值）不能超过256 KiB
[具体详情](https://kubernetes.io/docs/concepts/storage/storage-classes/#parameters "具体详情")

## NFS
```
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: example-nfs
provisioner: example.com/external-nfs
parameters:
  server: nfs-server.example.com
  path: /share
  readOnly: "false"
```

- server:server是NFS服务器的主机名或IP地址。
- path：NFS服务器导出的路径。
- readOnly：一个标志，指示存储是否将以只读方式装入（默认为false）

Kubernetes不包括内部NFS提供程序。您需要使用外部预配置程序来创建NFS的StorageClass。以下是一些例子：
- [NFS Ganesha server and external provisioner](https://github.com/kubernetes-sigs/nfs-ganesha-server-and-external-provisioner "NFS Ganesha server and external provisioner")
- [NFS subdir external provisioner](https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner "NFS subdir external provisioner")

## Local
FEATURE STATE: Kubernetes v1.14 [stable]

```
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
```

Local 本地卷当前不支持动态资源调配，但仍应创建StorageClass以将卷绑定延迟到Pod调度。这是由WaitForFirstConsumer卷绑定模式指定的。

延迟卷绑定允许scheduler调度器在为PersistentVolumeClaim选择适当的PersistentVolume时考虑Pod的所有调度约束。

# 常用命令
https://kubernetes.io/zh-cn/docs/tasks/administer-cluster/change-default-storage-class/
## 查看storage class
```
kubectl get storageclass
```
输出类似这样：
```
NAME                 PROVISIONER               AGE
standard (default)   kubernetes.io/gce-pd      1d
gold                 kubernetes.io/gce-pd      1d
```
默认 StorageClass 以 (default) 标记。

## 标记默认 StorageClass 为非默认
默认 StorageClass 的注解 storageclass.kubernetes.io/is-default-class 设置为 true。 注解的其它任意值或者缺省值将被解释为 false。

要标记一个 StorageClass 为非默认的，你需要改变它的值为 false：
```
kubectl patch storageclass standard -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
```
这里的 standard 是你选择的 StorageClass 的名字。

## 标记一个 StorageClass 为默认
需要添加/设置注解 ```storageclass.kubernetes.io/is-default-class=true```
```
kubectl patch storageclass <your-class-name> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
```

请注意，最多只能有一个 StorageClass 能够被标记为默认。 如果它们中有两个或多个被标记为默认，Kubernetes 将忽略这个注解， 也就是它将表现为没有默认 StorageClass。

# 使用案例
## 设置local path为默认storage class
### 安装 local-path-storage
```
$ kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/master/deploy/local-path-storage.yaml
namespace/local-path-storage created
serviceaccount/local-path-provisioner-service-account created
clusterrole.rbac.authorization.k8s.io/local-path-provisioner-role created
clusterrolebinding.rbac.authorization.k8s.io/local-path-provisioner-bind created
deployment.apps/local-path-provisioner created
storageclass.storage.k8s.io/local-path created
configmap/local-path-config created
```

### 检查服务是否正常
```
$ kubectl -n local-path-storage get pod
NAME                                      READY   STATUS    RESTARTS   AGE
local-path-provisioner-849cb58dff-6zzd8   1/1     Running   0          4m10s
```

### 将 local-path 设置为默认 StorageClass
```
# 查看storage class
$ kubectl get storageclass
NAME         PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  6m20s

# 将 local-path 设置为 默认storage class
kubectl patch storageclass local-path -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

# 验证（有default则表示设置成功）
$ kubectl get storageclass
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  7m16s
```

## 设置NFS为默认 storage class
https://blog.csdn.net/ljx1528/article/details/117792955

上一篇：K8s kubectl 常用命令下一篇：Kubeflow 概述

你觉得文章怎么样