AI时代的“Killer App”，一文了解向量数据库是什么
AI时代的“Killer App”，一文了解向量数据库是什么
article.author.display_name
尹洪昌
最近，又一个概念火了——向量数据库。
首先是，4月一个月内多家向量数据库创业公司获大额新融资，引发市场热议。
其次行情方面，龙头A股星环科技、北交所云创数据等股价连续异动，其中云创数据自底部以来股价已接近翻倍。
此外，8日开始，分析师们“后知后觉”开始密集推出研报进行覆盖。
多家创业公司获大额新融资
据华福证券梳理，随着大模型带来的应用需求提升，4月以来多家海外知名向量数据库创业企业传出融资喜讯。
4月28日，向量数据库平台Pinecone宣布获得1亿美元（约7亿元）B轮融资，由Andreessen Horowitz领投，ICONIQ Growth等跟投。
4月22日，向量数据库平台Weaviate宣布获得5000万美元（约3.5亿元）B轮融资，由Index Ventures领投，Battery Ventures等跟投。
此外，4月6日Chroma获1800万美元种子轮融资，4月19日Qdrant获750万美元种子轮融资。
什么是向量数据库？
据东北证券研报，向量数据库是专门用来存储和查询向量的数据库，其存储的向量来自于对文本、语音、图像、视频等的向量化。
同传统数据库相比，向量数据库不仅能够完成基本的CRUD（添加、读取查询、更新、删除）等操作，还能够对向量数据进行更快速的相似性搜索，商业价值提升明显。
向量数据库有啥用？
东北证券指出，向量数据库一个很重要的功能是拓展大模型的边界，分为时间边界和空间边界。
第一，时间边界的扩展，指的是向量数据库能够使得大模型LLM拥有“长期记忆”。
众所周知，目前的大模型（无论是NLP领域的GPT系列还是CV领域的ResNET系列）都是预先训练Pretrain的大模型，有着非常明晰的训练截止日Cut-off Date，这导致这些模型对于训练截止日之后发生的事情一无所知。
而随着向量数据库的引入，其内部存储的最新的信息向量能够极大地拓展大模型的应用边界，向量数据库可以使得大模型保持准实时性，提高大模型的适用性，并使得大模型能够动态调整。也就是说，向量数据库使得大模型的长期记忆得到了可能。
例如，假设一个预训练的新闻摘要模型在2021年底完成了训练，到了2023年，许多新闻事件和趋势已经发生了变化。为了使大模型能够处理这些新信息，可以使用向量数据库来存储和查询2023年的新闻文章向量。
同样，在推荐系统中，预训练的大模型可能无法识别新用户和新产品的特征，通过向量数据库，可以实时更新用户和产品的特征向量，从而使大模型能够根据最新的信息为用户提供更精准的推荐。
此外，向量数据库还可以支持实时监测和分析。例如，在金融领域，预训练的股票预测模型可能无法获取训练截止日期之后的股票价格信息。通过将最新的股票价格向量存储在向量数据库中，大模型可以实时分析和预测未来股票价格走势。还有就是在客服领域，向量数据库将使得大模型可以追溯到对话的开始。
第二，空间边界的扩展，指的是向量数据库能够协助解决目前企业界最担忧的大模型泄露隐私的问题。
用户给出的Prompt可能会包含一些敏感信息。根据媒体报道，员工A用ChatGPT帮自己查一段代码的bug，而这段源代码与半导体设备测量数据有关；员工B想用ChatGPT帮自己优化一段代码，就直接将与产量和良品率记录设备相关的一段代码输入了其中。
这些行为直接导致了三星关键数据的泄露，而ChatGPT本身其实也出现过隐私泄露事件，使得有一小部分的对话历史/支付数据会被其他用户查看，这些数据都极为敏感，而通过本地部署，向量数据库能够在很大程度上解决这个问题。
向量数据库本地部署后可以存储企业有关的大量隐私数据，在本地部署或者专有云部署大模型后，通过特别的Agent大模型可以在有保护的情况下访问向量数据库的隐私数据，进而可以在不向外网暴露公司的隐私的情况下，使得公司的业务得到大模型的助力。
此外，多模态搜索也是向量数据库的拿手好戏。
东北证券指出，向量数据库自带多模态功能，这意味着它能够通过机器学习方法处理和理解来自不同源的多种模态信息，如文本、图像、音频和视频等，数据向量化过程使得这些不同模态数据的内部隐藏信息得以暴露，进而为多模态应用提供支持。
一个典型的应用场景是多语言搜索，向量数据库支持跨语言的信息检索，用户可以使用英语、法语、中文等多种语言搜索图书库，而无需事先对书名进行多语言翻译处理。这得益于向量表示能够捕捉到语义相似性，使得来自不同语言的查询和内容能够相互匹配。
再一个，东北证券指出，即使不考虑需要LLM支持的边界拓展型应用和多模态搜索，近似搜索功能就可以给向量数据库带来巨大的商业化潜力。比如推荐系统、图像检索、语音识别和处理、生物信息学等。
市场空间巨大，行业处于从0-1阶段
东北证券指出，向量数据库市场空间巨大，目前处于从0-1阶段，预测到2030年，全球向量数据库市场规模有望达到500亿美元，国内向量数据库市场规模有望超过600亿人民币。
其认为，向量数据库是AI时代的Killer App。AI时代一切AI化，而AI化的本质则是向量化，向量化计算成本高昂，海量的高维向量势必需要专门的数据库进行存储和处理，向量数据库应运而生，向量数据库在拓展AI全新应用场景的同时，也将对传统数据库产品形成替代，进而成为AI时代的Killer App。
相关公司方面，全球范围内来看，目前向量数据库以初创公司为主，包括Pinecone、Milvus、Weaviate、Vespa等。
目前全球已有的向量数据库产品主要包括Pinecone、Milvus、Weaviate、Vespa等，其中超过70%的向量数据库选择了开源，超过一半的向量数据库具有云化部署的能力，大部分向量数据库产品在进行ANN相似性搜索时采用HNSW（HierarchicalNavigable Small World）算法。
风险提示及免责条款
共有 0 条评论