图片输入（视觉）在中转站上的支持现状与自测方法

为什么视觉的坑比文本多

文本请求的形态高度统一：一个 messages 数组，里面是字符串。而图片有多种传法、多种编码、多种尺寸，中间任何一环处理不当都会出问题 —— 而且大多数失败是不报错的。

两种图片传法

一、URL 传法

{"type": "image_url", "image_url": {"url": "https://example.com/a.png"}}

要点：这张图必须是公网可访问的，因为上游需要自己去下载。用内网地址、需要登录的地址、或过期的签名链接都会失败。

对中转站意味着：它（和它的上游）必须能访问到那个 URL。如果上游在海外而图片存在国内对象存储且未开公网，就会静默失败。

二、base64 内联

{"type": "image_url", "image_url": {"url": "data:image/png;base64,iVBORw0..."}}

要点：

1. 请求体体积剧增。一张 1MB 的图 base64 后约 1.37MB。这会撞上反代层的 client_max_body_size（nginx 默认常为 1MB）→ 返回 413，而不是一个关于图片的错误。
2. Token 消耗按图片尺寸而非文件大小计算。同一张照片存成高压缩 JPG 和存成 PNG，文件大小差十倍，但 token 消耗几乎一样。
3. 格式前缀不能省：必须是 data:image/png;base64,，只给裸 base64 会被拒。

三类典型失效

一、静默忽略 ★最危险

表现：请求返回 200，模型也正常回答，但回答完全没有用到图片内容 —— 它会根据文字提示编一个通用答案。

成因：网关在做协议转换时，遇到无法识别的 image_url 内容块，直接丢弃了（而不是报错）。

识别方法：发一张内容与文字提示矛盾的图。例如图片里是一只猫，文字问：「这张图里是狗还是猫？」。

• 真的处理了图片 → 回答「猫」；
• 静默忽略 → 会顺着「狗还是猫」这个二选一答一个（可能是狗，也可能是猫），或者给出「我无法看到图片」以外的含糊答案。

更严格的测法：图片里写一个随机数字，问「图里的数字是多少」。真处理了必然答对；被忽略了必然答错或含糊。

这是唯一可靠的判据 —— 不要用「它回答了关于图片的问题」来判断，因为它很会编。

二、格式转换失败

表现：返回 400，错误信息提到图片格式。

成因：Anthropic 的图片块结构与 OpenAI 不同（source.type / source.media_type / source.data）。转换层如果没处理全，某些格式（webp、gif）会失败而 png/jpg 正常。

处置：先用 PNG 测一次确认基本能力，再用 webp / gif 各测一次看覆盖面。

三、大小与数量限制

表现：413 或 400，且与图片大小正相关。

成因：

• 反代层体积限制（最常被忽略）：建议阈值 1MB 起，逐级加；
• 上游图片数量上限：多数模型单次请求允许多图，但有的网关只透传第一张；
• 上游尺寸上限：部分实现对超长边有限制，超出会降采样（不报错，但细节丢失）。

五分钟自测流程

准备两张图：

• 图 A：白底黑字写一个随机四位数（如 7382）；
• 图 B：一张 200KB 左右的普通照片。

然后：

第 1 项是核心。只做这一项也能得出有效结论。

对选型的实际意义

视觉能力的三档：

• 完全不支持：报错或静默忽略；
• 能用但有限：能读图，但格式、尺寸、数量有约束；
• 完整支持：各种格式、多图、大图都能处理。

绝大多数场景下「能用但有限」就够了 —— 截图问答、票据识别、UI 截图分析这类典型用法，图片通常在 1MB 以内、格式是 PNG/JPG。

真正需要注意的反而是第 1 项（静默忽略）：它不报错，你可能会把「模型答不好图片题」理解成模型能力不行，实际是图片根本没传上去。

一个提醒

如果你通过中转站使用视觉能力，不要把图片处理和文本处理放在同一个 Key 上做容量规划。图片请求的请求体大小和 token 消耗都远高于文本，很容易在监控里突然出现一个尖峰，触发站方的限流规则。

建议：给图片类调用单独一个 Key，便于观察和限额。