长期记忆:pgvector、embedding、chunking、memory_search 工具
用 pgvector 给 Agent 装上长期记忆:把历史内容切块、生成 embedding 存起来,再包成一个 memory_search 工具供模型调用。
今日目标
- 能在 Postgres 里用 pgvector 建一张存储 embedding 的表并跑相似度查询
- 能实现一个把长文本切块(chunking)后生成 embedding 的写入流程
- 能把相似度检索包装成一个 memory_search 工具接入 D5-D6 写的 Agent
D11 把链路接回了用户:worker 生成、gateway 按 seq 保序推流,一次对话终于能完整往返。但这个 Agent 只记得当前这一次会话——用户上个月说过的话,它一个字都想不起来。今天给它装上跨会话的长期记忆,读完回来把三条目标勾掉。
小白版讲解
想不起来上个月说过的事,和这一轮塞不下不是一回事
D6 教过一招,你很可能会误用在今天:会议纪要。散会只留决议,逐字稿当场扔掉。那是同一场会里的取舍,解决的是「这一轮塞不下」。今天的问题不一样——上个月那场会的纪要都归档半年了,你现在想不起来当时定了什么。
两者的机制方向是相反的。D6 的压缩发生在组装请求时做减法:历史太长,砍掉一段换成摘要。今天要做的是加法:在组装请求时,从会话之外的一个仓库里捞几条相关的旧事塞进去。失败后果也相反:压缩失败你会撞上下文上限、请求直接报错;检索失败你只是「没想起来」,对话照常进行。不是同一个问题,也不是同一套机制,D6 那套阈值和摘要逻辑一行都搬不过来。
那这个「会话之外的仓库」该怎么查?
去图书馆找书有两种方式。一种是查书名目录:你得知道书名,差一个字都查不到。另一种是走到主题书架前:这一排讲的都是同一件事,书名各不相同也没关系。
关键词检索是书名目录。用户三个月前说过「我对花生过敏」,今天问「我有什么忌口」——这两句话没有一个共同的关键词,LIKE '%忌口%' 一条都查不出来。而这恰恰是记忆最常见的用法:人不会用当初的原话来提问。
向量检索是主题书架。它把每段文字放进一个坐标系,位置由「讲的是什么」决定;「花生过敏」和「食物忌口」落在相邻的位置,按距离排序就能捞回来。
那为什么不干脆把所有旧事都塞进上下文,省掉检索这一步?算笔账就明白了。一个活跃用户半年攒下 200 条记忆,每条约 400 字符,按 D6 定的「一个字符估一个 token」的保守口径,全塞进去是 8 万 token。按对话模型输入价 0.15 美元每百万 token 算,每一轮都要多付 80000 ÷ 1000000 × 0.15 = 0.012 美元;一天聊 20 轮,一个用户一天就是 0.24 美元。而只检索最相关的 5 条只有 2000 token,每轮 0.0003 美元——差 40 倍。
钱还不是最要紧的。那 200 条里跟这一轮真正相关的可能只有 1 条,剩下 199 条全是噪声,模型会被它们带偏,把「上个月退过一次货」翻出来回答一个跟退货毫无关系的问题。往上下文里放的每一条无关信息,都在拉低模型的命中率。 D6 结尾那句「只检索最相关的三五条」,说的就是今天这件事。
问题于是变成了一个很具体的技术问题:「讲的是同一件事」这件事,机器到底怎么算出来?
面试题库
为什么 Agent 需要额外的长期记忆,而不是把历史全部塞进上下文?Why does an agent need a separate long-term memory instead of stuffing all history into the context window?
国内高频海外高频基础#long-term-memory#rag#cost🔒 解锁本章后查看答题要点。
pgvector 和专用向量数据库相比,优劣分别是什么?你会怎么选?How does pgvector compare with a dedicated vector database, and how would you choose?
国内高频海外高频进阶#vector-database#pgvector#architecture🔒 解锁本章后查看答题要点。
chunking 的切分策略会怎么影响检索效果?切多大合适?How does the chunking strategy affect retrieval quality, and how do you pick a chunk size?
国内高频海外高频进阶#chunking#rag#retrieval-quality🔒 解锁本章后查看答题要点。
把记忆检索包装成 memory_search 这样的工具时,参数设计上要注意什么?What matters when designing the parameters of a retrieval tool such as memory_search?
国内高频海外高频深入#tool-design#security#long-term-memory🔒 解锁本章后查看答题要点。
