第 3 周 · D19🔒 锁定约 4 小时
多模态输入:粘贴截图、图片校验与照图改代码
让 Agent 看得见:把图片接进消息结构,处理粘贴与文件两种来源、体积与尺寸下限、以及不支持图片的模型该怎么降级,最后用一张界面截图驱动一次真实的代码改动。
今日目标
- 能把图片接进已有的消息结构,且不破坏纯文本路径的兼容性
- 能实现图片的来源解析与合法性校验,并给出人话级的失败提示
- 能在模型不支持图片时给出可用的降级路径
前十八天 mca 一直只靠文字工作。今天给它开一只眼睛。做完之后回到页面顶部把三条目标勾掉。
小白版讲解
让他看图纸,不只是听描述
带新人改一个界面,你有两种交代方式。
第一种是描述:「工具栏左边那个蓝色的主按钮,文案改一下,要带上保存的意思。」这句话得反复确认——哪个是主按钮?工具栏是顶上那条还是侧边那条?改成什么才算「带上保存的意思」?
第二种是把图纸拍在他桌上:「照这张改。」
前十八天我们对 mca 一直用的是第一种。它对「这个界面长什么样」的全部认知,来自你打的那几行字。而很多任务的信息本来就在图里:一张报错截图、一张设计稿、一张测试框架吐出来的对比图。你描述一遍,信息已经丢了一半,而且丢的那一半正是你没注意到的那一半。
今天要做的事,一句话就是让那张图直接进到对话里。听起来像是一个「加个字段」的活,但它会牵出四个真问题:消息结构要怎么扩才不会把前十八天的纯文本路径搞坏;一张图在终端里到底怎么「粘」进来;哪些图该在发出去之前就拦下;以及最要命的一条——你怎么知道对面那个模型到底看不看得见图。
最后这条不是一句反问。2026-09-07 我们用真实 key 在一个 OpenAI 兼容网关上实测:同一张纯红色的图发给四个模型,四个都正常返回、都没有报任何错误,其中一个把这张纯红图说成了蓝绿色。它不是拒绝,是编了一个答案。这一条实测结论会把今天后半篇的设计整个改写。
面试题库
在已有的纯文本消息结构上加图片,你会怎么改才不破坏兼容?How would you add images to an existing text-only message schema without breaking compatibility?
国内高频海外高频基础#multimodal#message-schema🔒 解锁本章后查看答题要点。
图片输入要做哪些校验?为什么小图片会被拒绝?What validation does image input need, and why would a very small image be rejected?
国内高频海外高频进阶#input-validation#multimodal🔒 解锁本章后查看答题要点。
模型不支持图片时的降级策略怎么设计?你怎么先知道它不支持?How do you design the fallback when a model cannot see images, and how do you find out that it cannot?
国内高频海外高频深入#capability-detection#graceful-degradation🔒 解锁本章后查看答题要点。
