我们如何用 Auto-Research 打造最佳浏览器智能体
在 Online-Mind2Web 基准测试中达到 97%。有史以来的最高分。
基准测试
Online-Mind2Web 是被报道最多的浏览器智能体基准测试。涵盖 136 个真实网站上的 300 个任务——购物、金融、旅行、政府等。每个网络智能体都会在它上面进行测试。
| 难度 | 任务数 | 示例 |
|---|---|---|
| 简单 | 83 | "打开一道牛里脊食谱的评论" - allrecipes.com |
| 中等 | 143 | "在圣迭戈县找全职法律工作，月薪 $4,000+ 起" - ca.gov |
| 困难 | 74 | "找从纽约到旧金山最便宜的酒店+机票+租车套餐，两位成人和一名六岁儿童，含免费早餐和水疗" - booking.com |
| 总计 | 300 |
浏览器智能体的 Auto-Research 如何运作
我们给 Claude Code 一个我们评估平台的 CLI 和一个循环运行的提示：
无需编排代码。每个 Claude Code 会话获得一个目标并自行运行 20 个循环。 借助这个 评估基础设施，我们并行运行它们，并获得一个覆盖可能的最优智能体空间的搜索树。
我们不在乎表现差的。我们只在乎得到最好的智能体。所以我们告诉编码智能体要大胆押注、避免小改动，因为小调整会被运行间的方差淹没。
用于深入排查的调试 CLI
一次追踪可能有数百万个 token。这就是为什么我们将 CLI 设计成 3 个层级，让智能体尽可能快地找到根本原因。
对我们的数据结构来说，用 TSV 而非 JSON 能节省 40% 的 token。小的格式选择可能决定智能体调试的成败。
最大的改进
Claude Code 将我们的浏览器智能体框架升级成了编码智能体。除了点击和输入等工具外，它还增加了 Python 来解析 HTML 和提取数据。这与 LLM 的训练分布更加吻合，使边缘情况和数据提取变得容易得多。
其余部分：通过循环修复数百个边缘情况。
我们添加了： 最隐蔽的浏览器基础设施，以及每天来自高级用户要求我们修复的新任务。Online-Mind2Web 也因此得到了提升。
排行榜
| 智能体 | 得分 | 数据是否公开？ | 来源 |
|---|---|---|---|
Browser Use Cloud (bu-max) | 97% | ✓ | GitHub |
| GPT-5.4 Native Computer Use | 93% | ✗ | Blog* |
| UI-TARS-2 | 88% | ✗ | arXiv |
| ABP + Claude Opus 4.6 | 86% | ✓ | GitHub |
| OpenAGI Lux | 84% | ✗ | Blog |
| TinyFish | 81% | ✓ | TinyFish blog |
| Navigator (Yutori) | 79% | ✗ | Yutori blog |
| ChatGPT Atlas Agent Mode | 71% | ✗ | OpenAI blog |
| Google Gemini CUA | 69% | ✓ | Official leaderboard |
| Stagehand (Gemini 2.5 CU) | 65% | ✓ | Stagehand evals |
| OpenAI Operator | 61% | ✓ | Official leaderboard |
| Claude Sonnet 4.0 CU | 61% | ✗ | OpenAGI blog |
| Stagehand (Sonnet 4.5) | 55% | ✓ | Stagehand evals |
*OpenAI 报告了其得分，但未公开评审器、测试框架或任务级结果，因此无法进行独立验证。
评审器很重要
原始评审器基于截图。但浏览器智能体现在会编写代码、调用 API 并提取数千个项目。对于传统评审器来说，这就是幻觉。如果你的智能体能力在提升，你就需要一个智能体评审器。
我们基于 Claude Agent SDK 构建了一个智能体评审器。我们让它与人类评审器保持一致，这是让自动研究循环发挥作用的关键。
我们是否过拟合了？
自动研究循环的自然趋势是在单一任务上过拟合。 你需要大力提示研究系统进行泛化。 我合并循环的大部分时间都花在拒绝那些过拟合的任务特定解决方案上。
我们使用训练/验证集划分。循环只能看到训练数据。然后我们在它从未见过的旧数据集上运行，看到各方面得分都有提升。
没有任务被移除
许多公司在报告分数前会删除他们认为不可能完成的任务。我们使用了全部300个任务。我们少数的失败来自于不可用的网站、含糊的提示，或自基准创建以来已发生变化的网站。
重新运行我们的结果很简单
克隆 github.com/browser-use/online-mind2web，设置你的 Browser Use API 密钥，然后运行。
我们还上传了提示、结果和判断。
我们需要更难的基准
我们正在构建一个包含用户真正关心的所有内容的基准。目前的基准忽略了诸如“提取1000个带有子页面的产品并跨平台比较它们”这样的任务，因为人们无法想象单个浏览器智能体能做到这一点。
敬请期待。