逐日AI微信小程序
21 天手搓一个 Coding Agent
第 3 周 · D19🔒 锁定约 4 小时

多模态输入:粘贴截图、图片校验与照图改代码

让 Agent 看得见:把图片接进消息结构,处理粘贴与文件两种来源、体积与尺寸下限、以及不支持图片的模型该怎么降级,最后用一张界面截图驱动一次真实的代码改动。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能把图片接进已有的消息结构,且不破坏纯文本路径的兼容性
  2. 能实现图片的来源解析与合法性校验,并给出人话级的失败提示
  3. 能在模型不支持图片时给出可用的降级路径

前十八天 mca 一直只靠文字工作。今天给它开一只眼睛。做完之后回到页面顶部把三条目标勾掉。

小白版讲解

让他看图纸,不只是听描述

带新人改一个界面,你有两种交代方式。

第一种是描述:「工具栏左边那个蓝色的主按钮,文案改一下,要带上保存的意思。」这句话得反复确认——哪个是主按钮?工具栏是顶上那条还是侧边那条?改成什么才算「带上保存的意思」?

第二种是把图纸拍在他桌上:「照这张改。」

前十八天我们对 mca 一直用的是第一种。它对「这个界面长什么样」的全部认知,来自你打的那几行字。而很多任务的信息本来就在图里:一张报错截图、一张设计稿、一张测试框架吐出来的对比图。你描述一遍,信息已经丢了一半,而且丢的那一半正是你没注意到的那一半。

今天要做的事,一句话就是让那张图直接进到对话里。听起来像是一个「加个字段」的活,但它会牵出四个真问题:消息结构要怎么扩才不会把前十八天的纯文本路径搞坏;一张图在终端里到底怎么「粘」进来;哪些图该在发出去之前就拦下;以及最要命的一条——你怎么知道对面那个模型到底看不看得见图。

最后这条不是一句反问。2026-09-07 我们用真实 key 在一个 OpenAI 兼容网关上实测:同一张纯红色的图发给四个模型,四个都正常返回、都没有报任何错误,其中一个把这张纯红图说成了蓝绿色。它不是拒绝,是编了一个答案。这一条实测结论会把今天后半篇的设计整个改写。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 在已有的纯文本消息结构上加图片,你会怎么改才不破坏兼容?How would you add images to an existing text-only message schema without breaking compatibility?
    国内高频海外高频基础#multimodal#message-schema

    🔒 解锁本章后查看答题要点。

  • 图片输入要做哪些校验?为什么小图片会被拒绝?What validation does image input need, and why would a very small image be rejected?
    国内高频海外高频进阶#input-validation#multimodal

    🔒 解锁本章后查看答题要点。

  • 模型不支持图片时的降级策略怎么设计?你怎么先知道它不支持?How do you design the fallback when a model cannot see images, and how do you find out that it cannot?
    国内高频海外高频深入#capability-detection#graceful-degradation

    🔒 解锁本章后查看答题要点。

评论