原理问答（下）：会改变 Agent 工程决策的大模型基础
大模型原理面试必问，但 Agent 工程师不需要推公式，需要知道哪条原理会改变自己的选择。今天只讲五处：KV Cache 与前缀为什么要稳，温度为什么在工具调用时要低，检索、微调与长上下文怎么选，偏好优化带来的谄媚会怎样影响裁判模型，推理服务的批处理、投机解码、量化与专家混合如何改变首字延迟和成本。每一处都收在一句所以 Agent 工程师要怎么做上。面试官 Agent 学会打分：取舍与证据类要点权重加倍，引文必须真在回答里。
今日目标
- 能解释 KV Cache 与前缀缓存的关系，并指出系统提示里哪些写法会让缓存失效
- 能在检索、微调与长上下文之间做出选择并说清代价，能说出偏好优化带来的谄媚对裁判模型设计意味着什么
- 能实现一个按要点类型加权的评分器，并用引文核验作废模型编造的证据
昨天的框架都长在模型之上，今天往下挖一层。读完回到页面顶部把三条目标勾掉。
小白版讲解
开车不必会造发动机：原理只学会改变你操作的那一部分
学开车的人不需要会造发动机，但有几条发动机的原理必须懂：冷车别猛踩油门，下长坡要用低挡，油耗和转速有关。这几条的共同点是会改变你的操作。至于活塞怎么铸造、曲轴怎么平衡，懂了当然好，不懂也不影响你开车。
大模型原理对 Agent 工程师也是这样。面试一定会问 Transformer、注意力、KV Cache、RLHF，网上的题库也会把它们讲到公式层面。但你的时间有限，该优先弄懂的是那几条会让你做出不同选择的：
- KV Cache → 系统提示该怎么写
- 采样温度 → 工具调用该设多少
- 检索、微调、长上下文 → 知识该放在哪
- 偏好优化 → 能不能拿模型当裁判、怎么当
- 推理服务 → 首字为什么慢、钱花在哪
今天只讲这五处，每一处都收在一句「所以 Agent 工程师要……」上。面试时也按这个顺序答：先一句话讲清原理，再讲它改变了你的哪个决定。面试官听到后半句，就知道你不是在背书。
注意力机制本身，这里不从头讲。一句话够用：模型生成每一个新 token 时，都要回头「看」前面所有 token，看的方式是拿当前位置的查询向量去和每个旧位置的键向量比相似度，再按相似度加权取它们的值向量。下一节的 KV Cache 就是从这句话里长出来的。
请先登录网页，并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇；额外文章需在小程序看广告解锁。
微信扫码打开「逐日AI」，进入相同课程和章节，选择看广告解锁，完成后刷新本页。
面试题库
KV Cache 是什么？它和 Agent 的成本有什么关系？What is a KV cache, and how does it relate to the cost of running an agent?
国内高频海外高频深入#kv-cache#prompt-caching#cost🔒 解锁本章后查看答题要点。
RAG、微调和长上下文，你怎么选？RAG, fine-tuning, or a long context window: how do you choose?
国内高频海外高频进阶#rag#fine-tuning#long-context🔒 解锁本章后查看答题要点。
为什么工具调用时温度一般设得很低？Why is temperature usually set low for tool calls?
国内高频海外高频基础#sampling#temperature#tool-calling🔒 解锁本章后查看答题要点。
RLHF、DPO 这类偏好优化，对你用大模型当裁判有什么影响？How do preference-optimization methods like RLHF and DPO affect using an LLM as a judge?
国内高频海外高频深入#rlhf#llm-as-judge#evaluation🔒 解锁本章后查看答题要点。