耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Milvus 核心概念

发布时间：2024-07-25 作者：gengyufei 来源：gengyufei个人博客

Milvus 向量数据库

相关概念：collection、Partition、shard、vchannel、pchannel、segment、primary

# 集合 Collection

## 定义

`Collection` 类似于关系型数据库中的**表（Table）**，它是 Milvus 中数据的**基本组织单位**。一个 `Collection` 可以**包含**大量的**向量数据**和其他相关的**元数据**（如标签、属性等）。

## 功能

1. **数据存储**：`Collection` 用于存储向量数据及相关的元数据。

1. **索引管理**：每个 `Collection` 都有自己的索引策略，可以指定使用哪种类型的向量相似度搜索算法（如 IVF_FLAT, IVF_SQ8, HNSW 等）。

1. **数据组织**：`Collection` 可以被进一步划分为多个 `Partition`，用于逻辑上组织和管理数据。

1. **数据分片**：`Partition` 可以进一步被分成多个 `Shard`，以实现数据的分布式存储和并行处理。

1. **权限管理**：可以为 `Collection` 设置访问控制，限制哪些用户可以读取或写入数据。

## 使用

### 创建 collection

要开始使用 Milvus，你需要首先创建一个 `Collection`。创建 `Collection` 时，你需要指定以下信息：

- **名称**：给 `Collection` 赋予一个唯一的名称。

- **字段**：定义 `Collection` 中的字段（Field），包括向量字段和非向量字段。

- **主键**：指定一个字段作为 `Primary Key`，用于唯一标识每条记录。

- **索引类型**：选择合适的向量索引类型以优化搜索性能。

```python
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection, utility

# 建立连接
connections.connect("default", host="localhost", port="19530")

# 定义字段
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=128),
    FieldSchema(name="url", dtype=DataType.VARCHAR, max_length=255),
    FieldSchema(name="tags", dtype=DataType.VARCHAR, max_length=100)
]

# 定义 Collection Schema
schema = CollectionSchema(fields=fields, description="Image search collection")

# 使用连接别名创建 Collection
collection = Collection(name="images", schema=schema, using="default")

# 创建向量索引
index_param = {
    "index_type": "IVF_FLAT",
    "metric_type": "L2",
    "params": {"nlist": 128}
}

collection.create_index(field_name="embedding", index_params=index_param)

# 查看 Collection 是否创建成功
print(utility.has_collection("images"))

# 插入数据
data = [
    [1, 2, 3],  # id
    [[0.1] * 128, [0.2] * 128, [0.3] * 128],  # embedding
    ["http://example.com/image1.jpg", "http://example.com/image2.jpg", "http://example.com/image3.jpg"],  # url
    ["landscape", "portrait", "landscape"]  # tags
]

insert_result = collection.insert(data)
# 获取主键
primary_keys = insert_result.primary_keys
print("Inserted primary keys:", primary_keys)

# 断开连接
connections.disconnect("default")

```

解释

- **连接别名**：在 `connections.connect()` 方法中，我们使用 `"default"` 作为连接别名，并指定了主机地址和端口。这个连接别名将被用于后续的所有操作。

- `using` 参数：在 `Collection` 类的构造函数中，我们通过 `using` 参数指定了连接别名 `"default"`。这意味着 `Collection` 对象将使用这个连接别名所对应的连接来执行操作。

- `Collection` 构造函数：`Collection` 类的构造函数接收 `name`、`schema` 和 `using` 参数。`using` 参数用于指定使用哪个连接别名。

### 查询

```python
from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection, utility

# 建立连接
connections.connect("default", host="localhost", port="19530")

# 使用连接别名获取 Collection
collection = Collection(name="images", using="default")

# SQL 查询
sql_query = "SELECT * FROM images WHERE tags = 'landscape'"

# 执行 SQL 查询
result = collection.query(sql_query)

# 打印结果
for row in result:
    print(row)

# 断开连接
connections.disconnect("default")

```

# 分区 Partition

1. **定义**：

1. 分区是 Milvus 中用于组织和管理数据的基本单位之一。它允许用户将大型数据集逻辑地划分为较小的、更易于管理的部分。

1. 分区可以独立于其他分区进行操作，如插入、查询和删除等。

1. **目的**：

1. 提高数据管理效率：通过将数据分布在不同的分区中，可以更高效地进行数据管理和访问。

1. 提升查询性能：如果查询条件包含分区键，则可以只扫描相关的分区，减少不必要的数据访问。

1. 方便扩展：随着数据量的增长，可以通过增加更多的分区来实现水平扩展。

1. **特点**：

1. **逻辑隔离**：每个分区内的数据都是**逻辑上独立**的，这意味着你可以对单个分区执行操作而不会影响到其他分区的数据。

1. **物理存储**：虽然分区在逻辑上是独立的，但在**物理存储上，它们可能被存储在同一台服务器或集群的不同节点上**。

1. **可配置性**：可以根据需要创建多个分区，并为每个分区设置不同的参数，例如复制因子、索引类型等。

1. **操作**：

1. **创建分区**：在 Milvus 中创建一个新的集合后，可以为其添加一个或多个分区。

1. **插入数据**：可以指定将数据插入到特定的分区中。

1. **查询数据**：查询时可以指定要搜索的分区，或者搜索整个集合中的所有分区。

1. **删除分区**：可以删除不再需要的分区。

1. **示例**：

1. 假设你有一个包含数百万张图片的数据库，为了提高查询性能，你可以根据图片的上传日期将这些图片分到不同的分区中。这样，当你搜索某个日期范围内的图片时，只需要扫描相关的分区，而不是整个数据库。

# 分片 shard

1. **定义**：

1. Shard（分片）是指**将数据库中的数据分散到多个物理数据库实例上的过程**。每个分片通常都包含源数据的一部分，并且可以部署在不同的服务器上。

1. 分片是一种水平扩展策略，意味着它增加了系统的横向规模，而不是垂直扩展单一服务器的能力。

1. **目的**：

1. **提高性能**：通过将数据分散到多个节点上，可以显著提高读写操作的速度。

1. **负载均衡**：将请求均匀分配到各个分片上，避免单点过载。

1. **可扩展性**：当数据量增长时，可以通过添加更多的分片来轻松扩展系统。

1. **工作原理**：

1. **数据划分**：数据根据某种规则（如哈希算法、范围划分等）被分配到不同的分片中。

1. **查询路由**：客户端发送的查询需要被路由到正确的分片上执行。

1. **结果合并**：如果查询涉及到多个分片，那么结果需要从这些分片中收集并合并返回给客户端。

1. **应用场景**：

1. **大数据处理**：适用于需要处理大量数据的场景，如社交网络、电子商务网站等。

1. **高性能需求**：对于要求极高读写速度的应用程序非常有用。

1. **技术实现**：

1. **键值分片**：基于键值（如用户ID）来决定数据应该存储在哪一个分片中。

1. **范围分片**：根据数据的属性范围（如时间戳、地理位置）来划分数据。

1. **哈希分片**：利用哈希函数将数据映射到特定的分片上。

1. **混合分片**：结合多种分片策略来达到最优效果。

1. **示例**：

假设一个社交网络平台，用户的个人资料被分片存储。可以基于用户的ID进行哈希分片，将不同的用户数据分布到不同的数据库节点上。当用户登录并请求其个人资料时，系统会计算出对应的分片位置，并从那个特定的分片中获取数据。

# 分段 Segment

1. **定义**：

1. Segment 是 Milvus 中**最小的数据管理单元**，它是用来存储和检索数据的基本逻辑单元。

1. 一个 Segment 可以包含一个或多个实体（即记录），并且通常在一个 Partition 内进行管理。

1. **特点**：

1. **数据存储**：每个 Segment 包含了一组相关联的数据，并且可以独立进行索引构建、数据检索等操作。

1. **生命周期管理**：Segment 有其自己的生命周期，包括创建、写入、刷新、合并等阶段。

1. **索引构建**：每个 Segment 都有自己的索引结构，这使得查询可以在该 Segment 内高效执行。

1. **状态**：

1. **Flushed Segment**（已刷新段）：表示数据已经被持久化到磁盘上，并且已经构建了索引。

1. **Unflushed Segment**（未刷新段）：表示数据暂存于内存中，还未持久化到磁盘。

1. **Sealed Segment**（封闭段）：表示该 Segment 已经完成写入操作，不允许再写入新的数据。

1. **操作**：

1. **创建 Segment**：当数据开始被写入到一个 Partition 时，会创建新的 Segment。

1. **写入数据**：数据会被写入到特定的 Segment 中。

1. **刷新 Segment**：当 Segment 达到一定的大小阈值或满足某些条件时，会将其从内存中刷新到磁盘，并构建索引。

1. **查询 Segment**：查询操作会根据查询条件定位到相关的 Segment，并在这些 Segment 上执行。

1. **合并 Segment**：为了优化存储空间和查询性能，多个 Segment 可能会被合并成一个更大的 Segment。

1. **示例**：

1. 假设你正在使用 Milvus 构建一个图像检索系统。每当有新的图像数据插入到系统中时，这些数据会被分配到特定的 Partition 和 Segment 中。当 Segment 达到一定大小时，它会被刷新到磁盘，并且构建索引来支持快速检索。

1. **重要性**：

1. **性能优化**：通过合理的 Segment 管理，可以确保查询操作的高效执行。

1. **资源管理**：Segment 的管理有助于更有效地利用内存和磁盘资源。

1. **可维护性**：每个 Segment 的独立性使得维护和扩展变得更加简单。

# Segment 和 Shard 的关系

在 Milvus 中，一个 Segment 中的多条记录通常不会被分片到不同的物理机上。Segment 是 Milvus 中的一个逻辑单元，它包含了数据的一组记录，并且通常会在同一个物理节点上进行管理。这是因为一个 Segment 作为一个整体被设计为能够独立进行数据管理和查询操作的单元，包括索引构建、数据检索等。

### Segment 和 Shard 的关系

- **Segment**：是数据管理的基本单元，它包含了实际的数据记录。每个 Segment 通常位于一个特定的物理节点上。

- **Shard**：在 Milvus 中，Shard 是指一个集合（Collection）中的一组 Segment，这些 Segment 被放置在同一个物理节点上。Shard 是一种水平扩展机制，用于将数据分布在多个物理节点上。

### 数据分布

当数据被插入到 Milvus 中时，它首先被分配到一个 Partition 中。然后，这个 Partition 中的数据会被分成多个 Segment。这些 Segment 通常会按照预定义的规则被放置到不同的 Shard 中。Shard 则代表了实际的物理节点或节点组。

### 示例

假设我们有一个名为 "images" 的 Collection，它被分成了两个 Shard（shard_1 和 shard_2）。每个 Shard 包含多个 Segment。当我们插入数据时，数据会被分配到相应的 Partition，然后进一步分配到不同的 Segment 中。这些 Segment 最终会被放置到 shard_1 或 shard_2 上。

因此，在 Milvus 中，一个 Segment 中的所有记录都会位于同一个 Shard 中，即位于同一组物理节点上。但是，不同 Segment 之间的数据可能会被分发到不同的 Shard 和物理节点上，从而实现数据的水平扩展。

总结来说，一个 Segment 中的记录不会被分片到不同的物理机上；相反，不同 Segment 之间的数据可能会被分配到不同的物理节点上，以实现数据的分布式存储。如果您有关于 Milvus 的具体问题或需要更详细的解释，请随时告诉我。

# 虚拟通道和物理通道

## vchannel (Virtual Channel)

1. **定义**：

1. `vchannel` 是 Milvus 中用于接收实时数据流的虚拟通道。它用于从数据源（如 Kafka）接收实时数据，并将这些数据转发给 `pchannel` 进行进一步处理。

1. **目的**：

1. 提供一个统一的接口来接收来自外部数据源的实时数据。

1. 简化数据摄入流程，使其更加灵活和可扩展。

1. **工作原理**：

1. `vchannel` 作为数据源和 Milvus 之间的桥梁，负责从外部数据源接收数据，并将其转发给 Milvus 的内部组件进行处理。

1. 当外部数据源产生新数据时，这些数据会被推送到 `vchannel` 中。

1. `vchannel` 会将接收到的数据发送到 `pchannel` 以便进一步处理和存储。

## pchannel (Physical Channel)

1. **定义**：

1. `pchannel` 是 Milvus 中用于处理从 `vchannel` 接收到的数据的实际物理通道。它负责将数据从 `vchannel` 拉取出来，并将数据分配到适当的 Segment 进行存储。

1. **目的**：

1. 实现数据的实时处理和存储。

1. 确保数据正确地被分配到合适的 Segment 中。

1. **工作原理**：

1. `pchannel` 从 `vchannel` 中拉取数据，并将这些数据分配到适当的 Segment 中。

1. 每个 `pchannel` 通常对应于一个特定的 Shard，负责将数据写入该 Shard 中的 Segment。

1. `pchannel` 还负责管理数据的持久化，确保数据被正确存储。

## 关系

- `vchannel` 和 `pchannel` 一起构成了 Milvus 中实时数据流处理的核心组件。

- `vchannel` 负责接收数据，而 `pchannel` 负责处理和存储数据。

- 数据从 `vchannel` 流向 `pchannel`，最终到达相应的 Segment。

## 示例

假设你有一个实时日志数据源，这些数据需要被实时地摄入 Milvus 并存储起来。你可以配置一个 `vchannel` 来接收这些实时数据，然后配置一个或多个 `pchannel` 来处理这些数据并将其存储到 Milvus 中的适当位置。

## 总结

- `vchannel` 主要用于接收实时数据流，并将其转发给 Milvus 内部的 `pchannel`。

- `pchannel` 负责处理这些数据，并将数据分配到相应的 Segment 中进行存储。

上一篇：Milvus 架构下一篇：Vim 快捷键汇总

你觉得文章怎么样