耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Kubeflow Pipelines

发布时间：2023-04-26 作者：gengyufei 来源：gengyufei个人博客

Kubeflow

# kubeflow pipeline 概述
Kubeflow Pipelines是一个基于Docker容器构建和部署【可移植、可扩展的机器学习（ML）工作流】的平台。

## kubeflow的组成
Kubeflow管道平台包括：
- 用于管理和跟踪实验、作业和运行的用户界面（UI）。
- 用于调度多步骤ML工作流的schedule引擎。
- 用于定义和操作管道和组件的SDK。
- 使用SDK与系统交互的笔记本。

# kubeflow pipeline相关概念
## pipeline
pipeline(管道)是机器学习(ML)工作流的描述，包括工作流中的所有组件以及组件如何以图的形式相互关联。pipeline配置包括运行pipeline所需的输入(参数)的定义以及每个组件的输入和输出。

当运行一个pipeline时，系统会启动一个或多个 Kubernetes pod，对应于工作流中的步骤(组件)。pod启动Docker容器，然后容器启动程序。

开发完pipeline后，可以使用**Kubeflow pipeline UI**或**Kubeflow pipeline SDK**上传管道。

## component 组件
组件是一组自包含的代码，它执行ML工作流(管道)中的一个步骤，例如数据预处理、数据转换、模型训练等等。组件类似于函数，因为它有名称、参数、返回值和主体。

### component code
每个组件的代码包括以下内容:
- **客户端代码**:与端点通信以提交作业的代码。例如，与谷歌Dataproc API通信以提交Spark作业的代码。
- **运行时代码**:执行实际任务的代码，通常在集群中运行。例如，将原始数据转换为预处理数据的Spark代码。

> 请注意名为“mytask”的任务的客户端代码和运行时代码的命名约定：
**mytask.py程序**包含客户端代码。
**mytask目录**包含所有的运行时代码。

### Component definition
YAML格式的组件规范, 描述了Kubeflow Pipelines系统的组件。组件定义有以下几个部分:
- **元数据**: 名称、描述等。
- **接口**: 输入/输出规格(名称、类型、描述、默认值等)。
- **实现**: 在给定组件输入的一组参数值的情况下，如何运行组件的规范。实现部分还描述了在组件完成运行后如何从组件获取输出值。

要了解组件的完整定义，请参见组件规范。

### Containerizing components
必须把组件打包成Docker镜像。组件表示: 容器内的特定程序或入口点。

pipeline 中的每个组件都独立执行。这些组件不在同一个进程中运行，不能直接共享内存中的数据。
必须**序列化**(到字符串或文件)在组件之间传递的所有数据片段，以便数据可以通过分布式网络传输。
然后，必须对数据进行**反序列化**，以便在下游组件中使用。

## run 和 定期 run
a run 是pipeline的一次执行（即：运行时），可以通过查看Kubeflow Pipelines UI上的详细信息页面来跟踪运行的进度，在这里可以看到运行时图、输出工件和运行中每个步骤的日志。

Kubeflow Pipelines后端api支持 某一个pipeline的定期重复运行（类似Linux的crontab）。可以在Kubeflow Pipelines UI中启用/禁用循环运行。还可以指定最大并发运行数，以限制并行启动的运行数。

## Run Trigger
运行触发器是一个标志，它告诉系统一个循环运行配置何时产生一个新的运行。以下类型的运行触发器可用:

周期性:用于基于间隔的运行调度(例如:every 2 hours or every 45 minutes)。
Cron:为调度运行指定Cron语义。

## Output Artifact 输出制品
Output Artifact是由component发出的输出，Kubeflow Pipelines UI可以理解它，并可以将其呈现为丰富的可视化。component包含Artifact是很有用的，这样就可以提供性能评估、运行的快速决策或不同运行之间的比较。Artifact还使理解pipeline的各种组件是如何工作的成为可能。Artifact的范围可以从数据的纯文本视图到丰富的交互式可视化。

## ML Metadata
> 注意：Kubeflow Pipelines已经从使用Kubeflow/metadata转变为使用google/ml-metadata作为元数据依赖项。

Kubeflow Pipelines后端将管道运行时信息存储在元数据存储中。运行时信息包括任务的状态、工件的可用性、与Execution或Artifact相关的自定义属性，等等.
> google/ml-metadata: https://github.com/google/ml-metadata/blob/master/g3doc/get_started.md

# pipeline sdk
> 官网：https://v1-6-branch.kubeflow.org/docs/components/pipelines/sdk/

## 前置检查
### Python环境准备
Python版本要求： >= python 3.5 (本文档使用Python3.7)
推荐使用anaconda环境管理工具，安装详见：http://gyfblog.com/article/91/

## 下载 kfp sdk
```
pip3 install kfp --upgrade -i http://pypi.douban.com/simple/
```

该命令，下载 dsl-compile 和 kfp 二进制包

验证：
```
which dsl-compile

# 返回
/<PATH_TO_YOUR_USER_BIN>/miniconda3/envs/mlpipeline/bin/dsl-compile
```

## 注意
1. Kubeflow Pipelines REST API与Kubeflow Pipelines用户界面(UI)在相同的endpoint.
1. Kubeflow 通过身份验证和授权来保护Kubeflow pipeline的公共endpoint, 【port-forward】方式访问kfp api，只支持此2种情况：
	- Kubeflow Pipelines standalone
	- Google Cloud AI Platform Pipelines

## 使用 SDK client（port-forward）
> 前提：kfp安装方式为 ```Kubeflow Pipelines standalone```, 且为【非多用户模式】

### 端口转发
> 根据个人具体情况，修改 namespace 和 端口号
```
kubectl port-forward svc/ml-pipeline-ui 3000:80 --namespace kubeflow
```

### 验证
通过浏览器访问： ```http://localhost:3000```

### 初始化client
```
import kfp
client = kfp.Client(host='http://localhost:3000')
print(client.list_experiments())
```
> 注意，对于多用户模式下的Kubeflow Pipelines, 由于需要身份校验的原因，无法使用 ```kubectl port-forward```

## 使用 SDK client（非多用户）
> 利用Kubernetes服务发现机制

### 方式一
```
import kfp
client = kfp.Client(host='http://ml-pipeline-ui:80')
print(client.list_experiments())
```

### 方式二
```
import kfp
import os
host = os.getenv('ML_PIPELINE_UI_SERVICE_HOST')
port = os.getenv('ML_PIPELINE_UI_SERVICE_PORT')
client = kfp.Client(host=f'http://{host}:{port}')
print(client.list_experiments())
```

### 方式三
```
import kfp
namespace = 'kubeflow' # or the namespace you deployed Kubeflow Pipelines
client = kfp.Client(host=f'http://ml-pipeline-ui.{namespace}:80')
print(client.list_experiments())
```

## 使用SDK client（多用户）
### 使用Jupyter notebook 访问 KFP

### 从任意 pod 访问 KFP

上一篇：Markdown 表格下一篇：Linux 查看CPU信息

你觉得文章怎么样