向量索引与库选型:HNSW 与倒排文件、量化省内存、带过滤的查询与多租户隔离
把向量检索从能跑推到能扛量:先弄懂两种索引的结构与参数怎么影响召回和延迟,再用半精度与二值量化压内存,然后解决最容易踩坑的带条件过滤查询,最后给出 pgvector 与专用向量库之间的选型判据。
今日目标
- 能说清分层可导航小世界图与倒排文件两种索引的构建方式,以及各自要调的参数分别影响什么
- 能解释带过滤的向量查询为什么会漏召回,并说出迭代扫描与预过滤两种应对的适用条件
- 能给出一份选型判据,说明什么规模和什么约束下应该留在 PostgreSQL,什么时候该上专用向量库
昨天你已经能把文档切成合适的块了。今天解决块变多之后的事:一万块、一百万块的时候,检索还快不快、还准不准、加了条件之后还对不对。读完并做完实验之后,回到页面顶部把这三条目标逐一勾掉。
小白版讲解
三十万本书不可能一本本翻
第二天你写的那条查询,本质上是把库里每一行的向量都跟问题向量算一次距离,然后排序取前十。三十篇语料切出几百块,这么干毫无问题,眨眼就出来了。
但这个做法的成本跟库的总量成正比:行数翻十倍,扫的时间就翻十倍。我们的实验里,两万行、384 维、单机 Docker,一次全表比对的中位延迟是 5.3 毫秒——听着还行,可这已经是走索引那 0.8 毫秒的六倍,而且这条线是直的:两百万行时它会变成半秒,用户那边就是一次明显的卡顿。
所以从这里开始,检索换了个目标:不再追求"一定找到最近的十条",而是"在可接受的时间内,大概率找到最近的十条"。这类做法统称近似最近邻(approximate nearest neighbor)。近似两个字是今天的全部前提——你从此拿到的每一组结果,都可能少了几条本该在里面的。
衡量"少了多少"的指标叫召回率:真值的前十条里,索引给你的前十条命中了几条。真值怎么来?把索引关掉全表扫一遍,那就是标准答案。它是整个调参工作的地基——没有真值,你调的所有参数都只是在改变一个你看不见的东西。今天实验的第一个练习点就是它:如果算真值的那条查询自己也走了索引,量出来的召回率会永远是 100%,而你毫无察觉。
这套量法本身只有十几行,今天所有的表格都由它产出:
// 真值:把索引关掉,全表扫一遍。只有这样量出来的才是召回率,
// 否则你是在拿索引跟索引自己比,结果永远接近 100%
export async function groundTruth(sql, queryVector, k = 10) {
return sql.begin(async (tx) => {
await tx.unsafe('set local enable_indexscan = off')
await tx.unsafe('set local enable_bitmapscan = off')
const rows = await tx`
select chunk_id from chunk_embeddings
order by embedding <=> ${queryVector}::vector limit ${k}
`
return rows.map((row) => row.chunk_id)
})
}
// 分母用真值条数,不要写死 k:带过滤时符合条件的行本来就可能不足 k 条
export function recallAt(returned, truth) {
if (truth.length === 0) return 1
const truthSet = new Set(truth)
return returned.filter((id) => truthSet.has(id)).length / truth.length
}async def ground_truth(conn, query_vector, k: int = 10) -> list[str]:
"""真值:关掉索引扫描,全表算一遍。拿索引结果当真值,召回率永远接近 100%"""
async with conn.transaction():
await conn.execute("SET LOCAL enable_indexscan = off")
await conn.execute("SET LOCAL enable_bitmapscan = off")
rows = await conn.fetch(
"SELECT chunk_id FROM chunk_embeddings ORDER BY embedding <=> $1 LIMIT $2",
query_vector,
k,
)
return [row["chunk_id"] for row in rows]
def recall_at(returned: list[str], truth: list[str]) -> float:
"""分母用真值条数,不要写死 k:带过滤时符合条件的行可能不足 k 条"""
if not truth:
return 1.0
hit = len(set(returned) & set(truth))
return hit / len(truth)回到图书馆。近似检索就是承认一件事:你不可能为了找十本书而把整个馆翻一遍,你得靠目录。而目录怎么组织,直接决定了你会漏掉什么。
面试题库
分层可导航小世界图和倒排文件索引你会怎么选?各说一个必须选它的场景,以及各自最该调的参数。How do you choose between an HNSW index and an IVFFlat index? Give one scenario that forces each choice, and name the parameter you would tune first in each.
国内高频海外高频进阶#vector-index#hnsw#ivfflat🔒 解锁本章后查看答题要点。
为什么加了 WHERE 条件的向量检索会漏结果?有哪几种修法,代价分别是什么?Why does a vector search with a WHERE clause return fewer results than expected, and what are the fixes and their costs?
国内高频海外高频深入#filtering#iterative-scan#recall🔒 解锁本章后查看答题要点。
把向量从全精度换成半精度或二值量化,你会用什么方法确认召回没有明显下降?If you switch your vectors from full precision to half precision or binary quantisation, how do you verify that recall has not dropped materially?
国内高频海外高频进阶#quantization#evaluation#recall🔒 解锁本章后查看答题要点。
什么时候应该把向量搬出 PostgreSQL?给出可量化的触发条件,也说说不该搬的理由。When should you move your vectors out of PostgreSQL into a dedicated vector database? Give measurable triggers, and also make the case for staying.
国内高频海外高频进阶#vector-database#architecture#trade-offs🔒 解锁本章后查看答题要点。
