跳到正文

Browser Use 应该使用哪种 LLM 模型?权威浏览器 AI 基准测试

一项统计严谨的基准测试,比较顶级前沿模型在浏览器自动化方面的速度、成本和准确性。

本文目录文章开头
部分图表可能显示不完整

BU Bench V1: Success Rate by Model BU Bench V1: Success Rate by Model

在与开发者的每一次交流中,都有一个问题占据主导:“我应该把哪个模型接入 Browser Use?”

在混乱且瞬息万变的真实网络上,单次测试运行毫无意义。我们对每个模型多次运行基准测试,并通过统计自助法(statistical bootstrapping)进行聚合,以得出真实的误差范围。我们的评估系统已运行超过 600,000 个任务,由一个 LLM 评审员验证,其与人工标注的一致率达到 87%。

结果文章图表

模型类型得分
claude-fable-5Open Source80.0%
Browser Use Cloud (bu-ultra)Cloud78.0%
OSS + BU LLM (ChatBrowserUse-2)OSS + Cloud LLM63.3%
claude-opus-4-6Open Source62.0%
gemini-3-1-proOpen Source59.3%
claude-sonnet-4-6Open Source59.0%
gpt-5Open Source52.4%
gpt-5-miniOpen Source37.0%
gemini-2.5-flashOpen Source35.2%

“Open Source”是指使用开源 Browser Use 库配合该 LLM 运行。“OSS + Cloud LLM”是指使用开源库配合我们的 ChatBrowserUse-2 模型。“Cloud”是指全托管的 Browser Use Cloud 代理。你可以在这里查看所有模型及其价格。

来自五个来源(Custom、WebBench、Mind2Web 2、GAIA、BrowseComp)的 100 个手工精选任务。每个任务都很困难,但已验证可完成。完整方法论请见我们的基准测试文章。

BU Bench V1: Success vs. Throughput BU Bench V1: Success vs. Throughput

模型细分文章图表

Claude Fable 5(新增)-- 80.0%文章图表

Anthropic 的 Claude Fable 5 是 BU Bench V1 上新的最高分模型,使用开源库通过了 100 个任务中的 80 个,比第二名的前沿模型(GPT 5.5,68%)高出 12 分。但代价是成本:100 个任务的 API 花费为 $580.87,远高于任何其他模型,平均每任务耗时 6 分 53 秒。完整结果请见我们的Claude Fable 基准测试文章。

结论:所有模型中原始准确率最高。当长且复杂任务的可靠性比成本更重要时使用它。

Browser Use Cloud (bu-ultra) -- 78.0%文章图表

明显的赢家。不仅准确率最高,而且速度最快,约为每小时 14 个任务。每一步都比原始前沿 LLM 调用慢,但 bu-ultra 用更少的步骤完成任务,因此总耗时更低。

这不仅仅是一个更好的模型。在 Browser Use 1.0 中推出,它是一个专为构建的代理,配备隐蔽浏览器基础设施、CAPTCHA 解决方案、持久化文件系统和优化的工具编排。比最佳前沿模型高出的 16 分来自全栈优化。

结论:性能最佳、吞吐量最高、零配置。请使用它。

ChatBrowserUse-2 (OSS + Cloud LLM) -- 63.3%文章图表

我们专门为浏览器自动化优化的模型,运行在开源库上。它超越了所有独立的前沿模型,同时每个任务更快更便宜。

结论:如果你需要自定义工具或自托管,但仍想要顶级准确率,这是最佳选择。

Claude -- 62.0% (opus), 59.0% (sonnet)文章图表

Claude 模型是最强的独立前沿选项。Claude-opus-4-6 以 62% 领先所有非 Browser Use 模型。当智能体需要执行自定义 JavaScript 或提取复杂结构化数据时,Claude 无与伦比。

Claude-sonnet-4-6 以 59% 紧随 opus 之后,成本约为其一半,使其成为 Anthropic 模型中性价比最高的选择。

结论:最佳独立前沿模型。当你的工作流依赖自定义代码执行时,请使用 Claude。

Gemini -- 59.3% (3-1-pro),35.2% (2.5-flash)文章图表

Gemini-3-1-pro 得分 59.3%,与 Claude Sonnet 不相上下。视觉能力强、延迟低,且拥有巨大的上下文窗口,可轻松处理庞大的 DOM。

Gemini-2.5-flash 得分 35.2%,是最快的廉价选项,但准确性大幅下降。一分钱一分货。

结论:Gemini-3-1-pro 是 Claude 的有力替代品。Flash 仅适用于成本敏感、低风险的任务。

OpenAI -- 52.4% (gpt-5),37.0% (gpt-5-mini)文章图表

GPT-5 得分 52.4%,是基准测试中最慢的模型,每小时约完成 6 个任务。GPT-5-mini 得分 37%,无法弥补速度差距。

近期的 OpenAI 模型在浏览器自动化任务上未能跟上 Claude 和 Gemini 的步伐。

结论:正在落后于竞争对手。请改用 Claude 或 Gemini。

推荐文章图表

  • 想要最高的原始模型得分? claude-fable-5 (80%) 位居榜首——API 成本约为每任务 $5.80。
  • 想要最好的智能体? 使用 Browser Use Cloud (bu-ultra)。78% 准确率,吞吐量最快,无需配置。
  • 需要自定义工具或自托管? 使用开源库配合 ChatBrowserUse-2。63.3%,仍然胜过所有前沿模型。
  • 偏好独立前沿 LLM? Claude-opus-4-6 (62%) 或 gemini-3-1-pro (59.3%)。
  • 预算有限? Claude-sonnet-4-6 (59%) 以更低成本提供接近 opus 的准确性。

该基准测试在 github.com/browser-use/benchmark 开源。如果你是希望进行大规模测试的 LLM 提供商,请联系 support@browser-use.com。

阅读显示设置

调整正文排版

当前浏览器记住选择,应用于文章正文。手机上正文宽度以屏幕可用空间为限。

图表完整性提示

普通文章遇到图表保存问题时显示提示。