Inherent AI 助手 Faraday 超越 Anthropic 与 OpenAI 论文复现能力

伦敦 AI 实验室 Inherent 推出的 Faraday 代理模型,以更小的体量在独立复现已发表科研论文上击败 Anthropic Claude Opus 4.8 与 OpenAI GPT‑5.5,展示了其在科研自动化方面的潜力,预示着 AI 将从验证走向发现新知。

Inherent AI 助手 Faraday 超越 Anthropic 与 OpenAI 论文复现能力

背景:AI 进入科研复现的赛道

在人工智能快速渗透科研领域的今天,能够自动复现已发表论文的模型被视为衡量科研辅助能力的重要标尺。复现不仅是验证实验可靠性的基本步骤,也是新研究者熟悉领域的必经环节。近期,伦敦 AI 实验室 Inherent 公开的 AI 代理 Faraday,凭借“更小体量、更多灵活”的设计,在这一任务上实现了对 Anthropic Claude Opus 4.8 与 OpenAI GPT‑5.5 两大主流大模型的超越。

Inherent 与 Faraday 的核心优势

Inherent 由前 Google DeepMind 成员创立,团队在强化学习与大模型压缩方面拥有深厚积累。Faraday 之所以能够在复现任务中脱颖而出,归功于以下几个技术突破:

  • 任务导向的微调策略:团队采用了“科研任务链”方式,将论文的实验设计、数据处理、结果分析等环节拆解为可编程子任务,使模型在每一步都能得到针对性反馈。
  • 高效的参数稀疏化:相比传统的大模型,Faraday 通过结构化稀疏化将参数规模压缩至原模型的 30% 以下,却保持了关键推理能力。
  • 跨模态信息整合:模型能够同时读取文本、表格和图像等多种论文附带材料,实现对实验细节的全方位理解。

实验结果:超越大模型的具体表现

Inherent 在公开的基准测试中,让 Faraday 独立复现了 50 篇自然科学与计算机科学领域的论文。评估标准包括实验步骤完整性、数值误差范围以及结果可重复性。结果显示:

  • Faraday 在复现成功率上达到 84%,高于 Claude Opus 4.8 的 71% 与 GPT‑5.5 的 78%。
  • 在数值误差控制方面,Faraday 的平均偏差仅为 2.3%,显著低于对手模型的 4.9%。
  • 复现所需的计算资源仅为对手模型的约 35%,体现了其高效的算力利用率。

这些数据表明,模型规模并非唯一决定科研任务表现的因素,算法与训练方法的创新同样关键。

意义与未来展望

Faraday 的成功为 AI 在科研领域的进一步渗透提供了有力证据。首先,它展示了“小而精”模型在特定垂直任务上可以超越通用大模型,这为资源受限的实验室提供了可行的技术路径。其次,复现能力的提升意味着 AI 将能够在文献调研阶段自动筛选可靠实验,帮助研究者快速定位创新点。Inherent 计划在此基础上拓展至“发现新规律”阶段,即让模型在已有数据的基础上提出假设并设计实验验证。

不过,仍需关注模型在跨学科、数据稀缺领域的适应性,以及对科研伦理的潜在影响。未来,随着更多科研机构与 AI 初创公司合作,类似 Faraday 的专用代理或将成为科研工作流的标准组件,推动科学发现进入更高效、自动化的时代。

科研复现的技术背景与原理

在学术体系中,论文复现是检验实验可重复性、验证结论可靠性的核心环节。传统上,这一过程依赖研究者手工重建实验环境、编写数据处理脚本并逐步对比结果,耗时且易受个人经验差异影响。随着大规模语言模型(LLM)在自然语言理解和代码生成方面的突破,研究者开始探索“AI 代理”自动化复现的可行性。实现这一目标的关键在于两大技术路径:其一是任务分解与微调——将论文的实验设计、数据预处理、模型训练、结果分析等环节抽象为可编程子任务,并在每一步提供针对性反馈,使模型能够在上下文中保持连贯性;其二是模型压缩与稀疏化——通过结构化稀疏技术在保持关键推理能力的前提下,将参数量削减至原模型的三分之一以下,从而降低算力需求并提升推理速度。Faraday 正是基于上述思路,结合跨模态信息整合(同时解析文本、表格、图像等论文附件),实现对实验细节的全景感知。

实际影响与应用前景

在公开基准测试中,Faraday 对 50 篇自然科学与计算机科学论文的独立复现表现出 84% 的成功率,显著高于同类大模型。数值误差平均仅 2.3%,说明模型在细粒度数值推导上具备较强的精度控制能力;与此同时,所需计算资源约为对手模型的 35%,展示了高效的资源利用率。对资源受限的实验室而言,这意味着无需投入昂贵的 GPU 集群即可完成大规模文献复现,从而加速文献调研、实验方案筛选和教学培训等环节。进一步,复现能力的提升为 AI 在科研工作流中的深度嵌入奠定基础——在文献综述阶段,AI 可自动标记实验可重复性、提取关键参数;在项目立项时,模型可依据已有复现结果快速生成可行性报告,帮助研究团队聚焦创新点。

局限性与不确定因素

尽管 Faraday 在特定任务上表现突出,但其适用范围仍受限。首先,跨学科领域的论文往往涉及专有仪器、行业标准或高度定制的实验流程,这类信息在公开数据中稀缺,模型的泛化能力可能下降。其次,稀疏化压缩虽提升效率,却可能削弱对极端长序列或复杂推理链的稳健性,在极端数值计算或高维模拟中出现误差累积。再次,自动复现过程仍依赖于高质量的论文结构化数据(如机器可读的实验表格),若原始文献缺乏标准化格式,模型的解析准确度会受到限制。最后,AI 代理在复现过程中可能无意间复制原始实验的偏差或错误,若未设立人工审查环节,可能导致错误信息的二次传播。

面向读者的实用建议

1. **评估复现需求**:在启动 AI 辅助复现前,明确实验的关键指标(数据来源、算法细节、评估指标),并准备结构化的实验描述文档,以便模型能够精准对接。
2. **结合人工审校**:将 Faraday 生成的复现报告视为初稿,安排领域专家对关键步骤、数值结果进行核对,尤其是涉及专用仪器或自定义代码的部分。
3. **利用跨模态输入**:在提交论文材料时,尽量提供机器可读的表格、代码片段和实验图像,提升模型对实验细节的捕获率,降低误解风险。
4. **监控资源消耗**:虽然 Faraday 的算力需求相对较低,但在大规模批量复现时仍应配置合理的计算配额,避免因并发任务导致的资源争抢。
5. **关注伦理合规**:在使用 AI 复现工具时,遵守数据使用许可,确保不泄露受限实验数据;同时,对模型生成的结论保持批判性思考,防止因自动化而放大科研不端行为。
通过上述步骤,研究者可以在保证复现质量的前提下,充分利用 Faraday 的高效能力,加速科研进程并降低实验成本。


相关阅读