怎么验证一个中转站是不是在「掺水降智」：一套可执行的测试方法

为什么掺假特别难发现

因为 API 的响应结构是标准化的。返回的 JSON 里有个 model 字段， 欺诈者把它写成 claude-opus-5 就完事了 —— 你的程序不会报错，格式完全正确。

所以检测不能看元数据，只能看行为特征。

测试一：token 数比对（最快、最有效）

不同模型的 tokenizer 不同，同一段文本产生的 token 数有明显差异。

做法：

1. 准备一段固定的、长度约 2000 字的中文文本
2. 在官方接口和被测站点各发送一次，要求不做任何处理直接返回
3. 对比返回的 usage.prompt_tokens

判读：如果是同一个模型，两个数字应该非常接近（差异在个位数百分比）。 差 30% 以上基本可以确定换了模型或换了分词器。

这是成本最低、结论最硬的测试，建议作为第一道筛子。

测试二：难度梯度测试

做法：准备三组题目，难度递增：

• 简单：常识问答、简单算术
• 中等：多步推理、代码改错
• 困难：需要长链条推理的数学题、复杂重构

判读：如果简单题全对、中等题开始崩、困难题完全不行 —— 说明后端跑的是小模型。旗舰模型和轻量模型在困难题上的差距是断崖式的， 不会出现「基本差不多」的情况。

注意：不要只用一道题下结论，取 8–10 道题统计正确率，避免随机性干扰。

测试三：输出风格指纹

同一模型在处理相同 prompt 时的输出风格高度一致，包括：

• 是否习惯使用小标题
• 列表用的是 - 还是 *
• 代码块是否带语言标注
• 回答的开头是否有固定的引导句

做法：同一 prompt 在官方跑 5 次，在被测站跑 5 次，对比风格特征。 模型被替换后，这些习惯往往会明显变化。

这个方法不如前两个可靠，但作为辅助证据很有用。

测试四：并发与延迟特征

做法：测不同并发下的表现（1 并发 vs 10 并发），记录成功率和首 token 时间。

判读：

• 首 token 时间稳定在 200–400ms 且输出很长 → 可疑（旗舰模型通常更慢）
• 并发一高就大量 429 或超时 → 说明它的额度来自共享池，通常指向订阅转卖或逆向接口

测试五：长上下文真实性

做法：发送一份 5 万 token 左右的文档，要求它回答文档末尾某个细节问题。

判读：便宜的模型往往上下文窗口更小，或者会被静默截断（只处理前几万 token）。 如果它答不出文档后半部分的内容，说明上下文能力与宣称不符。

一份可直接抄的检查清单

[ ] token 数比对        —— 差异 > 30% 直接放弃
[ ] 难度梯度测试        —— 简单/中等/困难三档正确率
[ ] 输出风格指纹        —— 与官方对比
[ ] 并发测试            —— 10 并发成功率应 > 95%
[ ] 长上下文测试        —— 5 万 token 尾部细节
[ ] 账单核对            —— usage 与扣费是否一致

结论该怎么下

单项异常可能是网络或抽样的偶然。两项以上异常，就不要继续用了。

另外要区分「掺假」和「线路等级差异」： 有些站点明确区分标准线路与高级线路，标准线路用的是受限渠道 —— 只要它如实告知，这是正常的商业分级，不算欺诈。 真正的问题是那些宣称「原生满血」却实际降级的。

用本站数据辅助判断

本站会探测各站的 /v1/models 接口并记录实际返回的模型数量与清单， 核验通过的站点标注「接口已确认」。这不能证明模型没被降级， 但至少能过滤掉那些连接口都是假的的站点。

发现掺假证据，欢迎通过 提交纠错 反馈，我们会核验后处理。