Odysseys2：一个长期网页智能体基准

Lawrence Jang (CMU)
Alexander Yue (Browser Use)
Magnus Müller (Browser Use)
Gregor Zunic (Browser Use)
Andrew Keunwoo Jang (CMU)
Younghan Park (CMU)
Mareks Woodside (CMU)
Daniel Fried (CMU)
Jing Yu Koh (CMU)
Ruslan Salakhutdinov (CMU)

2026年10月27日研究

Odysseys2: a collaboration between Carnegie Mellon University and Browser Use — Odysseys2：卡内基梅隆大学与 Browser Use 的合作项目

Odysseys2 是卡内基梅隆大学与 Browser Use 推出的长时程网页智能体基准：包含 100 个真实网页上的长任务，每个任务按 8 到 12 项通过/不通过检查评分。它建立在卡内基梅隆大学的 Odysseys 之上。完整的论文式报告（含交互式图表和全部 100 个任务）位于 odysseysbench.com/v2。本文是简短版本。

结果

最佳智能体完整完成了 100 个任务中的 47 个。 GPT-6 Astra（默认 effort）的平均评分标准得分为 84.6，但在其余 53 个任务上未达标。

文章图表 — 按完整完成的任务数排序，其次按平均得分排序。Opus 5.5 以 18 个排名第二。Fable 5：内容过滤器屏蔽了 2 个任务，因此其平均值基于 98 个任务计算。分数来自一个尚未针对人工参考进行验证的 LLM 评判器。

15 个智能体，每个任务一次 60 分钟尝试，全部在 BrowserCode 中进行。Opus 5.5 以 18 个完整完成排名第二。五个智能体一个都没完成。完整排行榜。

快不等于好

图 2随时间累积的得分

在 15 分钟时，GPT-5.6 Luna 得 37 分，Opus 5.5 得 18 分。到 60 分钟时，Opus 5.5 和 Grok 4.7 的最终成绩远高于 Luna。

基于在各分钟内完成的尝试的平均评分标准得分（0 到 100），涵盖全部 100 次尝试。BrowserCode 框架，high effort，每分钟 1 个点。

累计平均得分对分钟数，BrowserCode，high effort，100 个任务。15 分钟时：GPT-5.6 Luna 37，Opus 5.5 18，Grok 4.7 12。60 分钟时：Opus 5.5 71.2，Grok 4.7 68.2，GPT-5.6 Luna 58.9。

15 分钟时：Luna 37 · Opus 5.5 18 · Grok 4.7 12

Grok 4.7 在约 30 分钟时追上 Luna，在约 36 分钟时追上 Opus 5.5。一次尝试在完成时才计入其得分，而不是在运行过程中。Luna 的曲线终点为 58.9，低于其 59.7 的平均值，因为有一次尝试没有记录时间。

在 15 分钟时 GPT-5.6 Luna 以 37 分领先，Opus 5.5 为 18 分。Opus 在约 36 分钟时追上，最终达到 71.2。更多。

框架很重要

图 3同一模型，三种框架

在 Python 库中 Luna 保持在 30 左右。在 BrowserCode 中升至 63.0，在 Pi 中升至 71.9。

GPT-5.6 Luna 在全部 100 项任务上的平均评分（0 到 100），按推理力度划分。每种设置运行一次。Python 库没有 max 设置。

GPT-5.6 Luna 按力度划分的平均分，每种设置 100 项任务。Python 库：30.2、27.9、33.0、33.5。BrowserCode：29.8、42.0、59.7、61.6、63.0。Pi：28.0、37.3、59.2、68.6、71.9。

各框架向评判者提供的运行记录不同，因此这些差距混合了执行上的差异与可用于评分的证据上的差异。Pi 仅使用 Luna 进行了测试。

同一模型 GPT-5.6 Luna：在 Browser Use Python 库中约为 33，在 BrowserCode 和 Pi 中高到 max 力度时为 59 到 72。更多。

评分方式会改变分数

在相同的尝试上，原始 Odysseys 评判者与更严格的 Odysseys2 评判者（后者还会读取交付的文件）存在很大分歧：Gemini 3.7 Flash 在前者下得分为 94.9，在后者下为 5.8。这是分歧，而非准确性的证明。任务如何构建、评分如何运作、两位评判者。

局限性

评判者尚未针对可靠的人类参考进行验证，奖励作弊标记是模型判断的结果，且实时网页会变化。完整列表请参见验证我们的评判者。

获取数据

基准页面和交互式结果：odysseysbench.com/v2
100 项任务的 JSON（指令、起始 URL、评分标准）
评判者提示词和 EVALUATION.md
发布文件（任务、评分标准、分数、评判者提示词）：github.com/ljang0/odysseys2-benchmark（MIT 许可证）
原始 Odysseys 论文：arXiv 2604.24964
相关：网页智能体基准、浏览器智能体的苦涩教训

引用 Odysseys2：

@misc{jang2026odysseys2,
  title        = {Odysseys2: A Web Agent Benchmark Based on Real User Requests},
  author       = {Jang, Lawrence and Yue, Alexander and M{\"u}ller, Magnus and
                  Zunic, Gregor and Jang, Andrew Keunwoo and Park, Younghan and
                  Woodside, Mareks and Fried, Daniel and Koh, Jing Yu and Salakhutdinov, Ruslan},
  year         = {2026},
  howpublished = {\url{https://odysseysbench.com/v2/}}
}

感谢我们在卡内基梅隆大学的合著者：Lawrence Jang、Andrew Keunwoo Jang、Younghan Park、Mareks Woodside、Daniel Fried、Jing Yu Koh 和 Ruslan Salakhutdinov。