Claude Fable 5.1 的“鹈鹕骑车”测试

Simon Willison2026-09-03 05:03

Anthropic 发布 Claude Fable 5.1 与 Mythos 5.1,并称 Fable 5.1 在编码、知识工作和长时间问题解决任务上树立了新标准。发布信息中特别强调科学研究能力:在新近公布的 Terminal-Bench-Science 0.1 基准上,Fable 5.1 得分为 52.6%,高于 Fable 5 的 24.7%、Opus 5 的 29.0% 和 GPT-5.6 Sol 的 22.4%。其他基准也有小幅提升,但没有科学基准的提升显著。

不过,这里关注的是一个更轻量但有趣的测试:让模型生成“鹈鹕骑自行车”的 SVG。

为什么还要测“鹈鹕骑车”

“鹈鹕骑自行车”曾被用作观察模型图像构造与代码生成能力的趣味基准。但它与模型在其他任务上的表现之间,相关性似乎已经不如早期明显。

现在更有价值的观察点,是在同一模型家族内部进行比较,尤其是使用同一个提示词,在不同推理强度下比较输出差异。

本次提示词为:

Generate an SVG of a pelican riding a bicycle

Claude Fable 5.1 提供五档推理强度:

  • low
  • medium
  • high
  • xhigh
  • max

它没有完全关闭推理的选项。

low 与 medium:看起来都没有推理痕迹

在 low 档下,模型生成了一张极简扁平风格的 SVG:一只白色鹈鹕,橙色喙,骑着黑色自行车,背景为浅蓝色,并带有运动线。

这次运行没有显示任何总结后的推理 token。输出 token 数为 1,998。对于 Claude 来说,输出 token 数包含推理 token。该次运行耗时 23.8 秒,费用为 10.017 美分。

切换到 medium 后,结果仍然是类似的极简鹈鹕骑车图:白色鹈鹕、橙色喙、黑色自行车、浅蓝背景和运动线。

奇怪的是,medium 同样没有显示推理文本,输出 token 数为 1,977,比 low 还少 21 个 token。该次运行耗时 23 秒,费用为 9.912 美分。

也就是说,对于这个提示词,Fable 5.1 在 low 和 medium 设置下看起来都跳过了可见的推理过程。

high:出现少量推理,但成品差异不大

high 档运行结果如下:

  • 耗时:29.6 秒
  • 输出:2,612 token
  • 费用:13.087 美分

生成结果仍然是极简扁平风格的鹈鹕骑自行车 SVG。相比 low 和 medium,视觉上没有明显质变。

这次确实出现了一小段推理摘要,大意是:模型计划 SVG 布局,包括天空和地面背景、自行车的两个带辐条车轮、车架、座椅和车把,以及位于自行车上的白色鹈鹕、长脖子和橙色喙。

不过从最终图像看,high 与前两档差异并不大。

xhigh:token、耗时和费用显著上升

到了 xhigh,情况发生明显变化:

  • 输出:36,767 token
  • 耗时:7 分 51 秒
  • 费用:1.83 美元

生成结果仍是极简风格,但推理轨迹明显更长。推理中提到的细节包括:

  • 添加眼睛;
  • 让翅膀伸向车把;
  • 让橙色腿部够到脚踏;
  • 添加小尾羽;
  • 故意让鹈鹕相对自行车显得偏大,以制造喜剧效果;
  • 接受某些线条略厚的问题,而不是过度工程化。

相比前几档,xhigh 的主要变化不只是图像本身,而是生成过程显著变长,成本也大幅增加。

max:Anthropic 模型中表现最好的一只鹈鹕

max 档生成了作者认为在 Anthropic 模型中见过的最佳鹈鹕骑车图。

该次运行数据为:

  • 输出:65,927 token
  • 耗时:13 分 54 秒
  • 费用:3.30 美元

成品中的细节更多:

  • 背景更协调;
  • 鹈鹕双腿清楚地位于车架两侧;
  • 脚踩在脚踏上;
  • 翅膀搭在车把上;
  • 鹈鹕戴着蓝色小帽;
  • 自行车篮里还有一条鱼。

它的风格表现仍未达到 Gemini 3.7 Flash 曾展示过的那种“花活”程度,但提示词要求的是 SVG,而 Fable 5.1 确实完成了一个结构清晰、细节较完整的 SVG。

max 档的推理轨迹中出现了更多具体设计权衡,例如:

  • 给两只脚附近添加脚踏形状,并让远侧腿部分隐藏在车架后;
  • 考虑是否添加围巾或帽子,但担心画面太杂;
  • 在自行车头盔与鹈鹕本身特征之间做取舍;
  • 调整头盔大小,避免与喙的位置冲突;
  • 为翅膀添加更深色的羽尖区域;
  • 考虑用扇形羽毛边缘替代平滑边缘;
  • 检查头盔通风线是否位于边界内;
  • 放弃车铃和轮胎高光等非必要元素;
  • 调整前叉曲线,使其更符合自行车前叉的倾斜方向。

这些细节说明,在 max 档下,模型会把大量 token 用于构图、部件关系和局部几何修正。

再进一步:把 SVG 做成动画

随后,有人提出:既然这个基准已经“解决”了,能不能做一个动画版?

为了避免再次使用 max 花费约 3 美元,作者将 max 档生成的鹈鹕 SVG 输入给 Fable 5.1,并使用默认的 high 推理强度,让模型“animate this”。

这次动画化的运行数据为:

  • 输入:6,121 token
  • 输出:26,201 token
  • 费用:1.37 美元

生成结果是一个动画 SVG,并被导出为视频以便查看。视频中车轮看起来转错了方向,但作者认为这可能是转换为 MP4 时产生的现象;在原始 SVG 中,车轮方向似乎是正确的。

观察小结

这次测试的重点不是证明“鹈鹕骑车”可以全面代表模型能力,而是展示同一提示词在 Fable 5.1 不同推理档位下的差异:

  • low 与 medium:几乎没有可见推理痕迹,输出成本接近;
  • high:出现少量推理,图像变化有限;
  • xhigh:推理过程和成本显著增加;
  • max:细节最丰富,但耗时和费用也最高;
  • 在已有高质量 SVG 基础上继续动画化,仍然需要较高 token 与费用。

这类实验提醒我们:推理强度并不总是线性带来可见收益。对于简单生成任务,较高档位可能主要增加推理过程与成本;而当任务需要更细致的结构安排时,最高档位确实可能带来更完整的局部细节。

评论

请登录后发表观点

暂无数据