跳到主要内容

Pinecone

面向生产级AI应用的托管向量数据库。全托管、自动扩展,支持混合搜索(稠密+稀疏)、元数据过滤和命名空间。低延迟(<100ms p95)。适用于生产级RAG、推荐系统或大规模语义搜索。最适配无服务器托管基础设施。

技能元数据

可选 — 通过 hermes skills install official/mlops/pinecone 安装
路径optional-skills/mlops/pinecone
版本1.0.0
作者Orchestra Research
许可证MIT
依赖项pinecone-client
平台linux, macos, windows
标签RAG, Pinecone, 向量数据库, 托管服务, 无服务器, 混合搜索, 生产, 自动扩展, 低延迟, 推荐

参考:完整SKILL.md

信息

以下是Hermes加载此技能时看到的完整技能定义。这是技能激活时智能体看到的指令。

Pinecone - 托管向量数据库

面向生产级AI应用的向量数据库。

何时使用Pinecone

在以下情况使用:

  • 需要托管、无服务器的向量数据库
  • 生产级RAG应用
  • 需要自动扩展
  • 低延迟至关重要(<100ms)
  • 不想管理基础设施
  • 需要混合搜索(稠密+稀疏向量)

指标

  • 全托管SaaS
  • 自动扩展至数十亿向量
  • p95延迟 <100ms
  • 99.9% 可用性SLA

改用替代方案

  • Chroma:自托管、开源
  • FAISS:离线、纯相似性搜索
  • Weaviate:自托管,功能更多

快速开始

安装

pip install pinecone-client

基本用法

from pinecone import Pinecone, ServerlessSpec

# 初始化
pc = Pinecone(api_key="your-api-key")

# 创建索引
pc.create_index(
name="my-index",
dimension=1536, # 必须与嵌入维度匹配
metric="cosine", # 或 "euclidean", "dotproduct"
spec=ServerlessSpec(cloud="aws", region="us-east-1")
)

# 连接到索引
index = pc.Index("my-index")

# 插入或更新向量
index.upsert(vectors=[
{"id": "vec1", "values": [0.1, 0.2, ...], "metadata": {"category": "A"}},
{"id": "vec2", "values": [0.3, 0.4, ...], "metadata": {"category": "B"}}
])

# 查询
results = index.query(
vector=[0.1, 0.2, ...],
top_k=5,
include_metadata=True
)

print(results["matches"])

核心操作

创建索引

# 无服务器(推荐)
pc.create_index(
name="my-index",
dimension=1536,
metric="cosine",
spec=ServerlessSpec(
cloud="aws", # 或 "gcp", "azure"
region="us-east-1"
)
)

# Pod模式(为获得一致性能)
from pinecone import PodSpec

pc.create_index(
name="my-index",
dimension=1536,
metric="cosine",
spec=PodSpec(
environment="us-east1-gcp",
pod_type="p1.x1"
)
)

插入或更新向量

# 单次插入
index.upsert(vectors=[
{
"id": "doc1",
"values": [0.1, 0.2, ...], # 1536维
"metadata": {
"text": "文档内容",
"category": "教程",
"timestamp": "2025-01-01"
}
}
])

# 批量插入(推荐)
vectors = [
{"id": f"vec{i}", "values": embedding, "metadata": metadata}
for i, (embedding, metadata) in enumerate(zip(embeddings, metadatas))
]

index.upsert(vectors=vectors, batch_size=100)

查询向量

# 基本查询
results = index.query(
vector=[0.1, 0.2, ...],
top_k=10,
include_metadata=True,
include_values=False
)

# 带元数据过滤
results = index.query(
vector=[0.1, 0.2, ...],
top_k=5,
filter={"category": {"$eq": "教程"}}
)

# 命名空间查询
results = index.query(
vector=[0.1, 0.2, ...],
top_k=5,
namespace="production"
)

# 访问结果
for match in results["matches"]:
print(f"ID: {match['id']}")
print(f"分数: {match['score']}")
print(f"元数据: {match['metadata']}")

元数据过滤

# 精确匹配
filter = {"category": "教程"}

# 比较操作
filter = {"price": {"$gte": 100}} # $gt, $gte, $lt, $lte, $ne

# 逻辑运算符
filter = {
"$and": [
{"category": "教程"},
{"difficulty": {"$lte": 3}}
]
} # 也支持: $or

# In操作符
filter = {"tags": {"$in": ["python", "ml"]}}

命名空间

# 通过命名空间分区数据
index.upsert(
vectors=[{"id": "vec1", "values": [...]}],
namespace="user-123"
)

# 查询特定命名空间
results = index.query(
vector=[...],
namespace="user-123",
top_k=5
)

# 列出命名空间
stats = index.describe_index_stats()
print(stats['namespaces'])

混合搜索(稠密 + 稀疏)

# 带稀疏向量的插入
index.upsert(vectors=[
{
"id": "doc1",
"values": [0.1, 0.2, ...], # 稠密向量
"sparse_values": {
"indices": [10, 45, 123], # 词元ID
"values": [0.5, 0.3, 0.8] # TF-IDF分数
},
"metadata": {"text": "..."}
}
])

# 混合查询
results = index.query(
vector=[0.1, 0.2, ...],
sparse_vector={
"indices": [10, 45],
"values": [0.5, 0.3]
},
top_k=5,
alpha=0.5 # 0=稀疏, 1=稠密, 0.5=混合
)

LangChain集成

from langchain_pinecone import PineconeVectorStore
from langchain_openai import OpenAIEmbeddings

# 创建向量存储
vectorstore = PineconeVectorStore.from_documents(
documents=docs,
embedding=OpenAIEmbeddings(),
index_name="my-index"
)

# 查询
results = vectorstore.similarity_search("查询", k=5)

# 带元数据过滤
results = vectorstore.similarity_search(
"查询",
k=5,
filter={"category": "教程"}
)

# 作为检索器
retriever = vectorstore.as_retriever(search_kwargs={"k": 10})

LlamaIndex集成

from llama_index.vector_stores.pinecone import PineconeVectorStore

# 连接到Pinecone
pc = Pinecone(api_key="your-key")
pinecone_index = pc.Index("my-index")

# 创建向量存储
vector_store = PineconeVectorStore(pinecone_index=pinecone_index)

# 在LlamaIndex中使用
from llama_index.core import StorageContext, VectorStoreIndex

storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)

索引管理

# 列出索引
indexes = pc.list_indexes()

# 描述索引
index_info = pc.describe_index("my-index")
print(index_info)

# 获取索引统计信息
stats = index.describe_index_stats()
print(f"总向量数: {stats['total_vector_count']}")
print(f"命名空间: {stats['namespaces']}")

# 删除索引
pc.delete_index("my-index")

删除向量

# 按ID删除
index.delete(ids=["vec1", "vec2"])

# 按过滤条件删除
index.delete(filter={"category": "旧"})

# 删除命名空间中的所有向量
index.delete(delete_all=True, namespace="test")

# 删除整个索引中的所有向量
index.delete(delete_all=True)

最佳实践

  1. 使用无服务器模式 - 自动扩展,性价比高
  2. 批量插入 - 效率更高(每批100-200个)
  3. 添加元数据 - 以便进行过滤
  4. 使用命名空间 - 按用户/租户隔离数据
  5. 监控使用情况 - 检查Pinecone控制台
  6. 优化过滤条件 - 为常用过滤字段建立索引
  7. 使用免费层测试 - 1个索引,10万向量免费
  8. 使用混合搜索 - 质量更好
  9. 设置适当的维度 - 与嵌入模型匹配
  10. 定期备份 - 导出重要数据

性能

操作延迟备注
插入或更新~50-100ms每批
查询 (p50)~50ms取决于索引大小
查询 (p95)~100msSLA目标
元数据过滤~+10-20ms额外开销

定价(截至2025年)

无服务器模式

  • 每百万读取单元 0.096 美元
  • 每百万写入单元 0.06 美元
  • 每GB存储/月 0.06 美元

免费层

  • 1个无服务器索引
  • 10万向量(1536维)
  • 非常适合原型开发

资源