耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Milvus 架构

发布时间：2024-07-23 作者：gengyufei 来源：gengyufei个人博客

Milvus 向量数据库

# 概述

Milvus建立在Faiss、HNSW、DiskANN、SCANN等流行的向量搜索库之上，**专为包含数百万、数十亿甚至数万亿向量的密集向量数据集的相似性搜索而设计**。在继续之前，请熟悉嵌入检索的基本原理。

Milvus还**支持数据分片、流数据摄取、动态模式、矢量和标量数据组合搜索、多矢量和混合搜索、稀疏矢量等许多高级功能**。该平台**提供按需性能**，可以优化以适应任何嵌入检索场景。我们**建议使用Kubernetes部署Milvus，以获得最佳的可用性和弹性**。

Milvus采用**存储与计算分离**、**计算节点水平扩展**的**共享存储架构**。Milvus按照**数据平面**和**控制平面**分离的原则，分为四层:

**接入层**、**协调服务层**、**工作节点层**和**存储层**。

在伸缩或灾难恢复方面，这些层是相互独立的。

![](https://tcs-devops.aliyuncs.com/storage/1138debaa33a4cb928701083f97b7d171701?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHBJRCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9hcHBJZCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9vcmdhbml6YXRpb25JZCI6IiIsImV4cCI6MTcyMjMxMTM0MSwiaWF0IjoxNzIxNzA2NTQxLCJyZXNvdXJjZSI6Ii9zdG9yYWdlLzExMzhkZWJhYTMzYTRjYjkyODcwMTA4M2Y5N2I3ZDE3MTcwMSJ9.Sqd5QGjIJVzdj9eyQl4aEKQes1CHw1BQS4BmyiojenQ&download=image.png "")

# 存储与计算

Milvus遵循**数据平面**和**控制平面**分离的原则，**分为四层**，在可扩展性和容灾方面相互独立。

## 访问层 Access layer

访问层由一组**无状态**代理组成，是系统的前端层，也是用户的端点。它验证客户端请求并减少返回的结果:

- 代理本身是无状态的。它通过**Nginx、Kubernetes Ingress、NodePort、LVS**等负载均衡组件提供统一的服务地址。

- 由于Milvus采用了**大规模并行处理**(MPP)架构，在将最终结果返回给客户端之前，代理会**对中间结果进行聚合和后处理**。

## 协调服务 Coordinator service

**协调器服务将任务分配给工作节点，并充当系统的大脑**。它承担的任务包括：**集群拓扑管理**、**负载平衡**、**时间戳生成**、**数据声明**和**数据管理**。

### 根协调器 Root coordinator

处理**数据定义语言**(DDL)和**数据控制语言**(DCL)请求，例如创建或删除集合、分区或索引，以及管理TSO(时间戳Oracle)和时间标记发出。

### 查询协调器 Query coordinator

管理**查询节点的拓扑和负载平衡**，以及从增长段到密封段的切换。

### 数据协调器 Data coordinator

管理**数据节点和索引节点的拓扑结构**，维护元数据，触发刷新、压缩、索引构建和其他后台数据操作。

## 工作节点 Worker nodes

工作节点时Milvus的胳膊和腿，接收并执行【协调服务的指令】和【来自代理proxy的数据操作命令】。由于**存储和计算的分离**，**工作节点是无状态的**，并且当部署在**Kubernetes**上时，可以促进系统的**横向扩展和灾难恢复**。工作节点有三种类型:

### 查询节点 Query node

查询节点通过**订阅日志代理**获取**增量日志**数据并将其转换为**增长段**，从对象存储中**加载历史数据**，并在矢量和标量数据之间进行**混合搜索**。

### 数据节点 Data node

通过订阅**日志代理**获取**增量日志数据**，处理突变请求，并将日志数据打包成日志快照并**存储在对象存储中**。

### 索引节点 Index node

索引节点**构建索引**。索引节点**不需要驻留在内存中**，并且可以使用无服务器框架实现。

## 存储 Storage

**存储是系统的核心，负责数据的持久性**。它包括**元存储**、**日志代理**和**对象存储**。

### 元数据存储 Meta storage

存储**元数据的快照**，如**集合模式**和**消息消费检查点**。存储元数据需要**极高的可用性**、**强一致性**和**事务支持**，因此Milvus选择了**etcd作为元存储**。Milvus还使用etcd进行**服务注册**和**运行状况检查**。

### 对象存储 Object storage

**存储日志的快照文件**、**标量和矢量数据的索引文件**以及**中间查询结果**。Milvus使用MinIO作为对象存储，可以很容易地部署在AWS S3和Azure Blob上，这是世界上最流行、最具成本效益的两种存储服务。然而，**对象存储具有较高的访问延迟和按查询次数收费**。

为了**提高性能**和**降低成本**，Milvus计划在**基于内存或ssd的缓存池**上实现**冷热数据分离**。

### 日志代理 Log broker

日志代理是**一个支持回放的发布-子系统（**pub-sub system**）**。它负责**流数据持久性**和**事件通知**。

它还**确保**在**工作节点**从系统**故障中恢复**时增量**数据的完整性**。Milvus集群使用 **Pulsar**（脉冲星）**作为日志代理**; Milvus单机使用RocksDB作为日志代理。此外，日志代理可以很容易地被流数据存储平台(如**Kafka**)取代。

Milvus是**围绕日志代理构建的**，**遵循“日志即数据”的原则**，因此**Milvus不维护物理表**，而是**通过记录持久性**和**快照日志**来**保证数据的可靠性**。

![](https://tcs-devops.aliyuncs.com/storage/1138fe487c18419873bd8770cd19fe8d0f34?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHBJRCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9hcHBJZCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9vcmdhbml6YXRpb25JZCI6IiIsImV4cCI6MTcyMjMxMTM0MSwiaWF0IjoxNzIxNzA2NTQxLCJyZXNvdXJjZSI6Ii9zdG9yYWdlLzExMzhmZTQ4N2MxODQxOTg3M2JkODc3MGNkMTlmZThkMGYzNCJ9.aNSg5p-93NMgvbVnbsZEB1okdrgQF0iGNf5LAmmmNz0&download=image.png "")

**日志代理是Milvus的支柱**。由于其固有的发布-订阅机制，它**负责数据持久化和读写分解**。

上图显示了该机制的简化描述，其中系统分为**两个角色**: **日志代理 log broker **(用于维护日志序列)和**日志订阅者 log subscriber**。前者记录所有改变集合状态的操作; 后者订阅日志序列更新本地数据，并以只读副本的形式提供服务。

**发布-订阅机制**还为**更改数据捕获**(CDC)和**全局分布式部署**方面的系统可扩展性提供了空间。

# Milvus 集群组件

Milvus集群包括**7个微服务组件**和**3个第三方依赖**。所有的**微服务都可以独立地部署在Kubernetes上**。

![](https://tcs-devops.aliyuncs.com/storage/1138cc6a328e38453d1a5290e249f64bf42b?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHBJRCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9hcHBJZCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9vcmdhbml6YXRpb25JZCI6IiIsImV4cCI6MTcyMjMxMTM0MSwiaWF0IjoxNzIxNzA2NTQxLCJyZXNvdXJjZSI6Ii9zdG9yYWdlLzExMzhjYzZhMzI4ZTM4NDUzZDFhNTI5MGUyNDlmNjRiZjQyYiJ9.5rdYY7XpSyL0LC_ax6G_2e_2eTQeq6b_vNNWaLdmqGw&download=image.png "")

## 微服务组件

- Root coord 根坐标

- Proxy 代理

- Query coord 查询coord

- Query node 查询节点

- Data coord 数据coord

- Index node 索引节点

- Data node 数据节点

## 第三方依赖

- **Meta Store:** 元存储:存储集群中各个组件的元数据，例如**etcd**。

- **Object Storage:** 对象存储:负责集群中大文件的数据持久化，如索引、二进制日志文件等，如S3，Minio

- **Log Broker:** 日志代理:管理最近的突变操作的日志，输出流日志，并提供日志发布-订阅服务，例如**Pulsar**。

上一篇：Milvus 支持的索引类型下一篇：Milvus 核心概念

你觉得文章怎么样