TinyFish 揭秘生产级 AI 搜索代理架构

引言：AI 搜索代理的生产挑战

在实际业务中，AI 搜索代理常常因为检索结果不完整、重复失败的重试或执行时间、成本超限而无法满足生产需求。TinyFish 作为专注于 AI 代理 Web 基础设施的公司，针对这些痛点发布了两篇技术指南，系统阐述了生产级代理搜索架构以及深度研究系统的建设经验。本文将从架构全貌、关键技术点和实测效果三个维度，为读者呈现一套可落地的解决方案。

一、生产级代理搜索的整体架构

1. 四大 Web 原语

TinyFish 将代理系统的底层能力抽象为四个可组合的 Web 原语：

• TinySearch：面向大模型的检索入口，支持向量检索、关键词搜索以及混合排序。
• TinyFetch：对外部 API 或文档的快速抓取，提供统一的错误码和重试策略。
• TinyBrowser：轻量化的无头浏览器，负责渲染 JavaScript、处理分页等复杂网页。
• TinyAgent：负责模型推理与决策的核心组件，提供统一的提示模板和状态管理。

这四个原语相互独立，却通过统一的协议实现无缝衔接，既保证了模块化开发，又降低了系统耦合度。

2. 七阶段控制回路

在 TinyFish 的实现中，模型的每一次推理都围绕一个七阶段的控制回路展开：

1. 任务解析：将用户输入转化为结构化任务描述。
2. 检索规划：依据任务类型决定使用 TinySearch、TinyFetch 还是 TinyBrowser。
3. 证据获取：实际执行检索或抓取，收集原始材料。
4. 证据评估：通过模型对检索结果的相关性、完整性进行打分。
5. 决策生成：在评估结果的基础上生成下一步行动指令。
6. 执行与监控：调用对应原语执行指令，并实时监控时间、费用等指标。
7. 结果回馈：将执行产出反馈给模型，完成一次闭环。

该回路的严格顺序和边界控制，使得每一步都有明确的成功/失败判定，从而实现针对性重试和快速故障定位。

二、关键工程经验

1. 刚性控制回路 vs. 软性调度

传统的 AI 代理往往采用“软性”调度，即模型自行决定是否继续检索或直接生成答案。TinyFish 通过刚性控制回路，将检索、评估、执行等环节强制分离，避免模型在缺失关键证据时盲目生成，显著提升了可靠性。

2. 失败专属重试策略

不同的失败类型对应不同的重试逻辑：

• 检索不到证据 → 改换检索关键词或切换到 TinyBrowser。
• API 超时 → 降低并发度并增加超时阈值。
• 执行成本超标 → 自动回滚到更低成本的实现方案。

这种细粒度的重试机制避免了“一刀切”导致的资源浪费。

3. 统一推理而非独立规划器

TinyFish 放弃了外部的独立规划器（如专门的路径规划模型），而是让 TinyAgent 在每一次回路中直接进行“规划+推理”。这种设计降低了系统复杂度，并通过统一的提示模板保持了推理的一致性。

4. 成本与 token 足迹的精细管控

在 OpenBenchmarks 的编码任务评测中，TinyFish 实现了 79.0% 的完成率，同时保持了最低的 median 任务成本（约 0.050 美元）和最小的 token 消耗。这得益于：

• 对检索结果的提前过滤，避免不必要的长文本输入模型。
• 对执行步骤的成本模型预估，提前裁剪高费用路径。
• 对模型输出的 token 进行后处理，剔除冗余信息。

三、实测表现与行业意义

在公开的 OpenBenchmarks 编码任务中，TinyFish 的系统在保持高完成率的同时，显著降低了单位任务的费用和 token 使用量。相较于传统的“一体化”代理方案，TinyFish 的模块化架构在大规模部署时更易于监控、调优和扩容。

这一成果对 AI 开发者和企业具有以下启示：

• 生产环境下必须对检索、执行、成本进行严格的边界管理。
• 模块化原语能够快速迭代单个功能，而不影响整体系统稳定性。
• 针对不同失败场景的专属重试策略是提升可靠性的关键。

四、落地建议

如果你计划在自己的业务中构建类似的 AI 搜索代理，建议从以下几步入手：

1. 先搭建轻量的 TinySearch 与 TinyFetch，验证检索质量。
2. 设计七阶段回路的状态机，实现每一步的成功/失败判定。
3. 在模型提示中加入证据评估的评分机制，确保生成答案前已有充分依据。
4. 实现成本监控模块，对每一次 API 调用或浏览器渲染进行费用预估。
5. 根据业务特性，制定针对性的重试策略，避免盲目循环。

通过上述步骤，你可以在保证可靠性的前提下，快速迭代出符合业务需求的 AI 代理系统。

结语

TinyFish 的生产级代理搜索架构展示了在高并发、成本敏感的真实场景中，如何通过刚性控制回路、细粒度重试和统一推理实现可靠且高效的 AI 代理。对想要在 AI 应用上实现规模化落地的团队而言，这套思路值得深入学习和实践。