把中转站接进 Dify / FastGPT 的实践要点

与直接写代码的差别

Dify、FastGPT 这类平台已经封装好了模型接入，你只需要在界面里填几项配置。但接中转站时有两个特殊点：

1. 它的请求可能比你预期的复杂（带大量元数据、工具定义）
2. 它的重试与并发策略是平台决定的，你控制不了

这意味着：一个「手动 curl 能通」的站，接到平台里可能不稳定。

配置步骤（通用）

一、选「OpenAI 兼容」或「自定义供应商」

多数平台提供「OpenAI 兼容接口」选项 —— 这是接中转站最省事的方式。

填三项：

API Base:  https://站点域名/v1
API Key:   你的key
模型名:    站点提供的 id

二、先测连通再建应用

平台通常有「测试连接」按钮。先确保模型列表能拉出来，再去建对话应用。

如果拉不出模型列表：检查 base_url 是否带了 /v1。

三、注意模型的「能力声明」

有些平台要求你手动声明模型的能力（是否支持函数调用、是否支持视觉）。声明错了会导致：

• 勾了「支持函数调用」但站点不支持 → 工作流里工具调用失败
• 没勾但实际支持 → 平台不会用这个能力

以实际测试为准，不要照抄官方文档的能力表 —— 中转站的实现程度不同。

三个容易被忽略的限制

一、平台的重试会放大账单

工作流里的节点失败时，平台通常会重试。如果某个站不稳定，重试会导致：

• 账单上升（重试也是请求）
• 响应时间变长（等重试）

建议：在工作流里设置重试上限，或对不稳定节点改用更稳的站。

二、平台可能不支持自定义请求参数

你想用某个站的特殊参数（比如思考预算），但平台不给你传参的入口。

解决：要么在平台的「自定义模型参数」里找找（有些有），要么接受用默认参数。

三、知识库检索会放大 token 消耗

RAG 类平台每次对话都会把检索到的文档塞进上下文。这部分内容重复度高，非常依赖缓存。

如果站点不支持缓存，知识库应用的账单会显著高于预期。

验证：用一个反复提问同样内容的测试账号，看余额消耗速度。

一个实用的评估方法

不要用平台自带的简单测试判断站点是否可用。用真实工作流评估：

1. 建一个包含知识库检索 + 工具调用的完整工作流
2. 跑 20 次真实问题
3. 统计：成功率、平均响应时间、余额消耗

这三项数据比任何宣传都可靠。

关于「用哪个站」

这类平台通常是团队协作场景，建议：

• 选稳定性和并发都较好的站，而不是最便宜的
• 配置两个供应商（平台一般支持），出问题可以切换
• 留意平台的调用量统计，定期核对站点账单

相关阅读

• 团队协作场景：多人共用一个 Key 的管理方法
• prompt caching 在中转站上到底生效吗
• 怎么给项目配置多家 API 互备