浏览器智能体基准测试：比较用于网页自动化的 LLM 模型
BU Bench V1（2026 年 1 月）：所有主流 LLM 在 100 项高难度浏览器任务上的表现。Browser Use Cloud 得分为 78%，领先当时最佳开源模型 16 分。
简短回答：本文介绍 BU Bench V1，即我们 2026 年 1 月的 100 项高难度浏览器任务排行榜，其中 Browser Use Cloud (bu-ultra) 得分为 78%。当前排行榜是 Browser Use Bench v2.1：在真实网站上进行 180 项长任务，每项任务按评分标准打 0 到 100 分，然后取平均值。截至 2026 年 10 月，GPT-6.1 Sol（中等努力度）在此排行榜上得分最高，为 79.6，而 Browser Use 自家的智能体得分为 72.9，每项任务的预估模型成本为 11¢。若要比较可从代码调用的智能体，请参阅 best web agents。
100 项高难度浏览器任务，一个排行榜
为了真正了解我们的智能体性能，我们构建了一套内部工具，以标准化、可重复的方式评估我们的 browser agent，从而能够比较不同版本和模型并持续改进。我们非常重视评估。截至目前，我们在测试中已运行超过 600,000 项任务。
这是我们的首个开源基准测试。BU Bench V1：100 项手工挑选的任务，难度高但可完成，取自五个既有来源。
| 来源 | 任务数 | 描述 |
|---|---|---|
| Custom | 20 | 页面交互挑战（iframe、拖放、复杂表单） |
| WebBench | 20 | 网页浏览任务 |
| Mind2Web 2 | 20 | 多步骤网页导航 |
| GAIA | 20 | 通用 AI 助手任务（基于网页） |
| BrowseComp | 20 | 浏览器理解任务 |
每项任务都使用不同的 LLM、智能体设置和框架多次运行。过于简单的任务被移除。被多数投票判定为不可能且从未完成的任务也被移除。剩下的任务既难又经过验证可完成。
任务集已加密，以防止 LLM 训练污染。
评判者
真实网站无法进行确定性评判。我们使用 LLM 评判者（gemini-2.5-flash），给出简单的真/假判定。基于评分标准的打分理论上听起来更好，但实际上 LLM 对成功和失败都会给出中等分数。二元判定更可靠。
我们人工标注了 200 条轨迹并测量了一致性。评判者与人工判断的一致率为 87%，仅在部分成功和技术细节上存在分歧。
为确保跨模型的一致性，每次评估都使用相同的评判者 LLM、提示词和输入。
结果
| 模型 | 类型 | 得分 |
|---|---|---|
| claude-fable-5 | 开源 | 80.0% |
| Browser Use Cloud (bu-ultra) | 云端 | 78.0% |
| OSS + BU LLM (ChatBrowserUse-2) | OSS + 云端 LLM | 63.3% |
| claude-opus-4-6 | 开源 | 62.0% |
| gemini-3-1-pro | 开源 | 59.3% |
| claude-sonnet-4-6 | 开源 | 59.0% |
| gpt-5 | 开源 | 52.4% |
| gpt-5-mini | 开源 | 37.0% |
| gemini-2.5-flash | 开源 | 35.2% |
Browser Use Cloud 在发布时以 78% 领先，比当时最好的开源模型高出 16 分。每个模型都经过多次评估，结果包含误差棒（标准误）。
更新（2026年6月）：Anthropic 的 claude-fable-5 在开源库上运行时创下了 80.0% 的新高分，比第二名的前沿模型（GPT 5.5）高出 12 分，不过每 100 任务运行的 API 成本为 $580.87。完整分析请参阅我们的 Claude Fable 基准测试文章。
"Open Source"（开源）列表示使用该 LLM 运行开源的 Browser Use 库。"OSS + Cloud LLM" 表示开源库使用我们的 ChatBrowserUse-2 模型，该模型专为浏览器自动化优化。"Cloud" 是全托管的 Browser Use Cloud 代理。
吞吐量图表讲述了其余的故事。发布时，Browser Use Cloud (bu-ultra) 既是最准确的也是最快的，约为每小时 14 个任务。GPT-5 最慢，约为每小时 6 个任务。bu-ultra 的每个步骤都比小型 LLM 慢，但它用少得多的步骤完成任务，因此总耗时更低。在生产环境中，速度很重要。
Cloud 得分更高的原因
Browser Use Cloud 不仅仅是一个模型。它将专用代理与我们自己的 浏览器基础设施相结合：隐身代理、CAPTCHA 解决、持久化文件系统以及优化的工具编排。它在发布时比最佳开源模型领先 16 分，这归功于这种全栈优化，而不仅仅是更好的 LLM。
对于需要自定义工具或自托管的用户，使用 ChatBrowserUse-2 的开源库（63.3%）在发布时击败了所有独立开源模型。此后，claude-fable-5 在开源库上取得了 80.0% 的成绩。
使用基准测试
该基准测试在 github.com/browser-use/benchmark 上开源。克隆仓库，设置你的 API 密钥，然后运行 uv run python run_eval.py --benchmark BU_Bench_V1。如果不使用该标志，run_eval.py 现在会运行较新的 V2.1 任务集。
单次运行 100 个任务大约需要 3 小时，每次运行的 LLM API 调用成本约为 100。
我们希望 LLM 提供商使用此基准测试在真实的智能体浏览任务上测试和改进他们的模型。如果你需要更大规模地运行评估，请联系 support@browser-use.com。