耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Kubeflow 架构

发布时间：2023-04-25 作者：gengyufei 来源：gengyufei个人博客

Kubeflow

# 概述
下图显示了Kubeflow作为一个平台，在Kubernetes之上安排机器学习系统的组件：
![](https://www.kubeflow.org/docs/images/kubeflow-overview-platform-diagram.svg)

Kubeflow建立在Kubernetes的基础上，作为一个部署、扩展和管理复杂系统的系统。

使用Kubeflow配置接口(见下文)，可以指定工作流所需的ML工具。然后，可以将工作流部署到各种云、本地和内部部署平台，以进行实验和生产使用。

# ML工作流介绍
当开发和部署ML系统时，ML工作流通常由几个阶段组成。开发机器学习系统是一个迭代过程。需要评估ML工作流各个阶段的输出，并在必要时对模型和参数应用更改，以确保模型不断产生所需的结果。

为简单起见，下图按顺序展示了工作流阶段。工作流末端的箭头指回工作流，以展示迭代性质：
![](https://www.kubeflow.org/docs/images/kubeflow-overview-workflow-diagram-1.svg)

**详细介绍**：
在**实验阶段**，基于初始假设开发模型，并迭代地测试和更新模型，以产生想要的结果：
- 确定希望机器学习系统解决的问题。
- 收集和分析训练机器学习模型所需的数据。
- 选择一个ML框架和算法，并编写模型的初始版本。
- 用数据做实验，训练你的模型。
- 调整模型超参数，以确保最有效的处理和最准确的结果。

在**生产阶段**，部署一个执行以下流程的系统:

- 将数据转换成您的训练系统需要的格式。为了确保模型在训练和预测期间的行为一致，转换过程在实验和生产阶段必须是相同的。
- 训练机器学习模型。
- 将模型用于在线预测或以批处理模式运行。
- 监视模型的性能，并将结果提供给您的流程，以便对模型进行调优或重新训练

# ML工作流中的kubeflow组件
下图展示，将Kubeflow添加到工作流中，显示在每个阶段用到哪些Kubeflow组件：
![](https://www.kubeflow.org/docs/images/kubeflow-overview-workflow-diagram-2.svg)

kubeflow组件的详细介绍：
- Kubeflow包括生成和管理[Jupyter笔记本](https://www.kubeflow.org/docs/components/notebooks/ "Jupyter笔记本")的服务。使用笔记本进行交互式数据科学和机器学习工作流实验。

- [Kubeflow Pipelines](https://www.kubeflow.org/docs/components/pipelines/ "Kubeflow Pipelines")是一个基于Docker容器构建、部署和管理多步骤ML工作流的平台。

- Kubeflow 提供了几个[组件](https://www.kubeflow.org/docs/components/ "组件")，您可以使用它们构建机器学习训练、超参数调优和跨多个平台服务工作负载。

# 示例
下图显示了一个特定ML工作流的简单示例，可以使用它来训练和服务在MNIST数据集上训练的模型:
![](https://www.kubeflow.org/docs/images/kubeflow-gcp-e2e-tutorial-simplified.svg)

有关工作流程的详细信息和自己运行系统，请参阅GCP上的[Kubeflow端到端教程](https://github.com/kubeflow/examples/tree/master/mnist#mnist-on-kubeflow-on-gcp "Kubeflow端到端教程")

# kubeflow 接口
本节介绍可用于与Kubeflow交互以及在Kubeflow上构建和运行ML工作流的接口：

## Kubeflow用户界面(UI)
![](https://www.kubeflow.org/docs/images/central-ui.png)

UI提供了一个中央仪表板，您可以使用它来访问Kubeflow部署的组件。

## Kubeflow APIs and SDKs
Kubeflow的各个组件提供api和Python sdk。请参阅以下参考文档:

- Kubeflow pipeline API和SDK的[参考文档](https://www.kubeflow.org/docs/components/pipelines/v1/reference/ "参考文档")，包括Kubeflow管道领域特定语言(DSL)。

- [Fairing reference docs](https://www.kubeflow.org/docs/external-add-ons/fairing/reference/ "Fairing reference docs") for the Kubeflow Fairing SDK

上一篇：Kubeflow 概述下一篇：Kubeflow Central Dashboard

你觉得文章怎么样