Browser Use 应该使用哪种 LLM 模型?权威浏览器 AI 基准测试
一项统计严谨的基准测试,比较顶级前沿模型在浏览器自动化方面的速度、成本和准确性。
在与开发者的每一次交流中,都有一个问题占据主导:“我应该把哪个模型接入 Browser Use?”
在混乱且瞬息万变的真实网络上,单次测试运行毫无意义。我们对每个模型多次运行基准测试,并通过统计自助法(statistical bootstrapping)进行聚合,以得出真实的误差范围。我们的评估系统已运行超过 600,000 个任务,由一个 LLM 评审员验证,其与人工标注的一致率达到 87%。
结果
| 模型 | 类型 | 得分 |
|---|---|---|
| claude-fable-5 | Open Source | 80.0% |
| Browser Use Cloud (bu-ultra) | Cloud | 78.0% |
| OSS + BU LLM (ChatBrowserUse-2) | OSS + Cloud LLM | 63.3% |
| claude-opus-4-6 | Open Source | 62.0% |
| gemini-3-1-pro | Open Source | 59.3% |
| claude-sonnet-4-6 | Open Source | 59.0% |
| gpt-5 | Open Source | 52.4% |
| gpt-5-mini | Open Source | 37.0% |
| gemini-2.5-flash | Open Source | 35.2% |
“Open Source”是指使用开源 Browser Use 库配合该 LLM 运行。“OSS + Cloud LLM”是指使用开源库配合我们的 ChatBrowserUse-2 模型。“Cloud”是指全托管的 Browser Use Cloud 代理。你可以在这里查看所有模型及其价格。
来自五个来源(Custom、WebBench、Mind2Web 2、GAIA、BrowseComp)的 100 个手工精选任务。每个任务都很困难,但已验证可完成。完整方法论请见我们的基准测试文章。
模型细分
Claude Fable 5(新增)-- 80.0%
Anthropic 的 Claude Fable 5 是 BU Bench V1 上新的最高分模型,使用开源库通过了 100 个任务中的 80 个,比第二名的前沿模型(GPT 5.5,68%)高出 12 分。但代价是成本:100 个任务的 API 花费为 $580.87,远高于任何其他模型,平均每任务耗时 6 分 53 秒。完整结果请见我们的Claude Fable 基准测试文章。
结论:所有模型中原始准确率最高。当长且复杂任务的可靠性比成本更重要时使用它。
Browser Use Cloud (bu-ultra) -- 78.0%
明显的赢家。不仅准确率最高,而且速度最快,约为每小时 14 个任务。每一步都比原始前沿 LLM 调用慢,但 bu-ultra 用更少的步骤完成任务,因此总耗时更低。
这不仅仅是一个更好的模型。在 Browser Use 1.0 中推出,它是一个专为构建的代理,配备隐蔽浏览器基础设施、CAPTCHA 解决方案、持久化文件系统和优化的工具编排。比最佳前沿模型高出的 16 分来自全栈优化。
结论:性能最佳、吞吐量最高、零配置。请使用它。
ChatBrowserUse-2 (OSS + Cloud LLM) -- 63.3%
我们专门为浏览器自动化优化的模型,运行在开源库上。它超越了所有独立的前沿模型,同时每个任务更快更便宜。
结论:如果你需要自定义工具或自托管,但仍想要顶级准确率,这是最佳选择。
Claude -- 62.0% (opus), 59.0% (sonnet)
Claude 模型是最强的独立前沿选项。Claude-opus-4-6 以 62% 领先所有非 Browser Use 模型。当智能体需要执行自定义 JavaScript 或提取复杂结构化数据时,Claude 无与伦比。
Claude-sonnet-4-6 以 59% 紧随 opus 之后,成本约为其一半,使其成为 Anthropic 模型中性价比最高的选择。
结论:最佳独立前沿模型。当你的工作流依赖自定义代码执行时,请使用 Claude。
Gemini -- 59.3% (3-1-pro),35.2% (2.5-flash)
Gemini-3-1-pro 得分 59.3%,与 Claude Sonnet 不相上下。视觉能力强、延迟低,且拥有巨大的上下文窗口,可轻松处理庞大的 DOM。
Gemini-2.5-flash 得分 35.2%,是最快的廉价选项,但准确性大幅下降。一分钱一分货。
结论:Gemini-3-1-pro 是 Claude 的有力替代品。Flash 仅适用于成本敏感、低风险的任务。
OpenAI -- 52.4% (gpt-5),37.0% (gpt-5-mini)
GPT-5 得分 52.4%,是基准测试中最慢的模型,每小时约完成 6 个任务。GPT-5-mini 得分 37%,无法弥补速度差距。
近期的 OpenAI 模型在浏览器自动化任务上未能跟上 Claude 和 Gemini 的步伐。
结论:正在落后于竞争对手。请改用 Claude 或 Gemini。
推荐
- 想要最高的原始模型得分? claude-fable-5 (80%) 位居榜首——API 成本约为每任务 $5.80。
- 想要最好的智能体? 使用 Browser Use Cloud (
bu-ultra)。78% 准确率,吞吐量最快,无需配置。 - 需要自定义工具或自托管? 使用开源库配合
ChatBrowserUse-2。63.3%,仍然胜过所有前沿模型。 - 偏好独立前沿 LLM? Claude-opus-4-6 (62%) 或 gemini-3-1-pro (59.3%)。
- 预算有限? Claude-sonnet-4-6 (59%) 以更低成本提供接近 opus 的准确性。
该基准测试在 github.com/browser-use/benchmark 开源。如果你是希望进行大规模测试的 LLM 提供商,请联系 support@browser-use.com。