耿雨飞的个人博客

[[ slide_text ]]

[[ item.c ]]

Milvus是什么?

发布时间：2024-07-18 作者：gengyufei 来源：gengyufei个人博客

Milvus 向量数据库

# 什么是向量嵌入?

**向量嵌入**是**源自机器学习模型的数值表示**，封装了**非结构化数据的语义含义**。这些嵌入是**通过神经网络或转换器架构对数据中的复杂相关性进行分析而生成**的，创建一个密集的向量空间，其中每个点对应于数据对象的“含义”，例如文档中的单词。

这个过程将文本或其他非结构化数据转换为反映语义相似性的向量——具有相关含义的单词在这个多维空间中被放置得更近，从而促进了一种称为“密集向量搜索”的搜索类型。这与传统的关键字搜索形成对比，后者依赖于精确匹配并使用稀疏向量。向量嵌入的发展通常源于大型科技公司广泛训练的基础模型，它允许更细微的搜索，捕捉数据的本质，超越词法或稀疏向量搜索方法的限制。

# 我可以使用矢量嵌入做什么?

矢量嵌入可以在各种应用中使用，以各种方式提高效率和准确性。下面是一些最常见的用例:

## 查找相似的图像、视频或音频文件

矢量嵌入使搜索相似的多媒体内容的内容，而不仅仅是关键字，使用卷积神经网络(cnn)来分析图像，视频帧，或音频片段。这允许进行高级搜索，例如通过比较存储在矢量数据库中的嵌入式表示，通过图像查询查找基于声音线索或视频的图像。

## 加速药物发现

在制药行业，载体嵌入可以编码化合物的化学结构，通过测量它们与靶蛋白的相似性来促进有希望的候选药物的识别。这加快了药物发现过程，通过专注于最可行的线索，节省了时间和资源。

## 用语义搜索增强搜索相关性

通过将内部文档嵌入到向量中，组织可以利用语义搜索来提高搜索结果的相关性。这种方法使用检索增强生成(RAG)的概念来理解查询背后的意图，通过ChatGPT等人工智能模型从公司的数据中提供答案，从而减少不相关的结果和人工智能幻觉。

## 推荐系统

向量嵌入通过将用户和项目表示为嵌入来衡量相似性，从而彻底改变了推荐系统。这种方法可以基于个人偏好进行个性化推荐，从而提高用户满意度和在线平台的参与度。

## 异常检测

在欺诈检测、网络安全和工业监控等领域，向量嵌入有助于识别异常模式。表示为嵌入的数据点允许通过计算距离或差异来检测异常，促进早期识别和预防潜在问题的措施。

# Milvus与其他矢量数据库有何区别?

Milvus以其可扩展的架构和多种功能脱颖而出，旨在加速和统一各种应用程序的搜索体验。主要特点是:

**可扩展和弹性架构**

Milvus是专为卓越的可扩展性和弹性，适应现代应用程序的动态需求。它通过面向服务的设计、解耦存储、协调器和工作器来实现这一点，从而允许组件伸缩。这种模块化方法确保不同的计算任务可以根据不同的工作负载独立扩展，从而提供细粒度的资源分配和隔离。

**多种索引支持**

Milvus支持超过10种索引类型，包括广泛使用的索引，如HNSW, IVF，产品量化和基于gpu的索引。这种多样性使开发人员能够根据特定的性能和准确性要求优化搜索，从而确保数据库能够适应广泛的应用程序和数据特征。其索引产品的不断扩展，例如GPU索引，进一步增强了Milvus在处理复杂搜索任务时的适应性和有效性。

**多功能搜索功能**

Milvus提供了广泛的搜索类型，包括top-K近似最近邻(ANN)，范围ANN，带元数据过滤的搜索，以及即将到来的混合密集和稀疏向量搜索。这种多样性提供了无与伦比的查询灵活性和准确性，使开发人员能够定制数据检索策略以满足特定的应用程序需求，从而优化搜索结果的相关性和效率。

**可调的一致性**

Milvus提供了一个增量一致性模型，允许用户指定查询数据的“过时容忍度”，从而在查询性能和数据新鲜度之间实现量身定制的平衡。对于需要最新结果而不牺牲响应时间的应用程序来说，这种灵活性是至关重要的，可以根据应用程序的需要有效地支持强一致性和最终一致性。

**硬件加速计算支持**

Milvus旨在利用各种类型的计算能力，例如用于SIMD执行的AVX512和Neon，以及量化，缓存感知优化和GPU支持。这种方法可以有效地利用特定的硬件优势，确保快速处理和经济有效的可伸缩性。通过根据不同应用程序的独特需求定制资源使用，Milvus提高了矢量数据管理和搜索操作的速度和效率。

# milvus 架构

Milvus是围绕多层架构构建的，旨在有效地处理和处理矢量数据，确保可扩展性、可调性和数据隔离。以下是其架构的简单概述:

![](https://tcs-devops.aliyuncs.com/storage/1138d960a716500e0b667bf2dc30e01fd993?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHBJRCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9hcHBJZCI6IjVlNzQ4MmQ2MjE1MjJiZDVjN2Y5YjMzNSIsIl9vcmdhbml6YXRpb25JZCI6IjVmZTg3YjM5ZWRiY2I1MjljNjI4OGVhMyIsImV4cCI6MTcyMTg3OTE0NywiaWF0IjoxNzIxMjc0MzQ3LCJyZXNvdXJjZSI6Ii9zdG9yYWdlLzExMzhkOTYwYTcxNjUwMGUwYjY2N2JmMmRjMzBlMDFmZDk5MyJ9.FI35_8qftJrWQxJIL4fTvNnrMfy4YoTqPK5RsB_el58&download=image.png "")

## Access Layer 访问层

这一层作为外部请求的初始联系点，利用无状态代理进行客户端连接管理、静态验证和动态检查。这些代理还处理负载平衡，是实现Milvus综合API套件的关键。一旦下游服务处理了请求，访问层就会将响应路由回用户。

## Coordinator Service 协调服务

作为**中央命令**，该服务通过**四个协调器**协调负载平衡和数据管理，从而确保高效的数据、查询和索引管理。

**Root Coordinator**: 管理与数据相关的任务和全局时间戳

**Query Coordinator**: 监督查询节点进行搜索操作

**Data Coordinator**：处理数据节点和元数据

** Index Coordinator**：维护索引节点和元数据

## Worker Nodes

工作节点**负责实际执行任务**，是**可伸缩的pod**，执行协调器的命令。它们使Milvus能够动态调整以适应不断变化的数据、查询和索引需求，支持系统的可扩展性和可调性。

## Object Storage Layer 对象存储层

这一层是数据持久化的基础，由以下部分组成：

**Meta store**: 使用etcd进行元数据快照和系统健康检查

**Log broker**: 日志代理:用于流数据的持久化和恢复，使用Pulsar或RocksDB

**Object storage**: 对象存储:存储日志快照、索引文件和查询结果，支持AWS S3、Azure Blob storage和MinIO等服务

上一篇：Python pip download 下一篇：Milvus 支持的索引类型

你觉得文章怎么样