测什么
每一项检查都写明四件事:期望是什么、实测到什么、凭什么这样判(依据),以及这个判断有多确定——「已实测」「官方文档称」还是「未证实」。依据主要有几类:Anthropic 官方文档写明的行为;在官方接口上实测、并经签名验证的数;我们给定的固定内容的逐字比对与同一站点内的自洽比较;在官方模型上标定过的测试题;以及公开的型号参考库。证据不够时标「判不了」,既不算通过,也不算失败。
三层判定
检查分三层。不同层不过,后果不同:
门槛
安全与完整性:Claude Code 要执行的命令、工具调用的参数,有没有在中途被改。
不适合:哪种用途都不能用,后面的段不再跑。
能力
能不能当 Opus 5.5 用:智力、读图读 PDF、长输入、长输出、真实的 Claude Code 任务;按 Claude Code 方式发的普通请求被站点拒绝也算在这里。
能力不达标:写代码不建议用,结论写明是哪项能力不行。
佐证
型号身份、计费与 usage 是否原样、协议细节、系统提示遵守。
红旗:单列出来(能折成钱的写出多花多少),不改变结论。
我们不算加权总分。总分会把「哪一项没过」藏在一个数字里,而对用的人来说,命令被改写和计费多报一点,是性质完全不同的两件事。
门槛或能力层有判不了的项时,结论是「无法判定」,不会给「适合」。
另有几项只记录、不判定,比如让模型画一只骑自行车的鹈鹕,留给人看。
四段检测
一轮检测分四段,从便宜到贵依次跑:
基础检查
十几项短探针同时发出:命令原样、签名、计费与 usage、读图读 PDF、协议细节等。
知识题
智力的第一个维度,和官方 Opus 5.5 的标准比。
快速筛选到这里为止
实战任务
一次性容器里跑真的 Claude Code 完成编程任务,另测长输入与长输出。
推理题
智力的第二个维度。最贵也最慢,放在最后。
快速筛选只跑前两段,按官方价约 $1.55;完整测试跑完四段,约 $8。花的都是被测 key 的额度。快速筛选之后可以接着跑完,已经跑过的段不重复花钱。
门槛不过就停下,后面的段不再花钱;知识题已经判出低于官方时,实战任务不跑,推理题照测。其余的能力缺失(比如读不了 PDF)不挡后面的段,照常测完。
报告里每项检查的状态:
- 通过
- 符合官方行为
- 不通过 · 门槛
- 安全与完整性出了问题,不能用
- 不通过 · 能力
- 某项能力不如官方
- 红旗
- 佐证层没通过:单列提醒,不改结论
- 判不了
- 证据不够,下不了判断
- 未测
- 这次没测
- 进行中
- 正在测
- 等待
- 还没轮到
智力:和官方用同一套题比
智力是能力层里最要紧的一项,换型号、调低思考档位,最终都体现在这里。
- 测试题:一套固定的题,分知识与推理两个维度,都有客观的标准答案。
- 标准:在一把开了官方直连验证的 key 上,用经过签名验证的官方 Opus 5.5(xhigh 档)把同一套题答三遍,得出官方的答对率和正常范围。
- 被测:被测站按 Claude Code 的真实请求方式把题答一遍,和标准比,判「低于官方」「没有明显差别」或「高于官方」。
- 判定:低于官方是能力不过;高于官方也算通过,结论里会写出来(可能给了更高的型号或档位)。
这是统计判定,会有误判:以官方模型前后表现一致为前提,官方模型自己来测,被判成低于或高于的概率约 1%。报告里判出「低于官方」时,会把这个误判率一并写出。
它的盲区:明显更弱的型号会被判低于;相近或更强的型号,只靠答对率分不开;判出低于时,也分不清是降了档还是换了型号。
真实的 Claude Code 任务
只发探针请求,测不出站点在真实使用中的表现——站点可以只对「看起来像 Claude Code」的请求动手脚。所以每次完整测试都会在一个一次性容器里装好固定版本的真 Claude Code,接上被测站,完成一个真实的编程任务:修一个 bug、实现一个函数、调用一次子 Agent,最后跑我们事先藏好的测试。
同一次任务里还会看:Claude Code 有没有按项目里的规则办事、请求里的缓存与思考块回传是否正常。同一段里另测很长的输入、很长的输出能不能完整处理。
任务里 Claude Code 会执行被测站返回的命令——这正是要测的。它跑在隔离的一次性容器里:普通用户、只读文件系统、限制资源、只能访问被测站,跑完即销毁,碰不到我们的服务器,也碰不到你的任何东西。
两个结论
不同用途需要的能力不一样,所以每份报告给两个结论。
写代码(Claude Code),看全部三层:
| 结论 | 含义 |
|---|---|
| 适合 | 门槛与能力层的检查都通过 |
| 能力不达标 | 安全没问题,但有能力不如官方,写明是哪项 |
| 不适合 | 命令被改写,哪种用途都不能用 |
| 无法判定 | 门槛或能力层有判不了、没测成的项 |
| 未完成 | 没跑完:快速筛选、额度不足、key 无效、中途停下等;没跑完的段可以接着跑 |
日常用(直播、聊天这类不写代码的用途),只看安全、读图与推理:门槛没问题、能读图、推理不低于官方,就是「可以用」。只有知识题低于官方、推理在线,也算可以用,报告会写明冷门知识比官方少;读不了 PDF、不太守系统提示,写成「注意」。
每份报告另有四个关键数:价格(官方 $1 的用量折合多少人民币)、智力、速度、稳定。
局限
- 只是一次快照:结论只说明这一次检测、用这把 key、在这个时刻测到了什么。站点随时可能变化。
- 测不出站点内部的事:你的数据有没有被记录、转卖或拿去训练;站点用的账号会不会被封。
- 站点可以针对检测:如果站点认出了检测请求、只对它们给真货,部分检查会被骗过。各项检查是对没有专门针对检测的站点的证据;真实的 Claude Code 任务最难被区分出来。
- 智力分不开相近的型号,见上文。
- 型号身份的佐证有范围:比如数字指纹只在一个有限的参考库里比较,库外的模型也会被归到「最像」的那个。
公开什么,不公开什么
我们公开检测项和判定的逻辑;每份报告里写明每一项测什么、期望什么、凭什么这样判,并附上实测与原始证据。
具体的实现细节不公开:测试题的题目和答案、判定的具体阈值、探针的具体做法。
利益相关:TrustyHub 也做自己的 Claude API 中转(即将开放)。开放后,我们的线路用同一套方法定期自测,报告公开在状态页;对所有站点用同一套检查与判定,目前不做别家中转站的公开排行。
申诉与复测
对一份报告的结果有异议,先复测一次:站点的状态常有波动,一次的结果说明不了全部。复测和其他检测一样,用你自己的 key 发起、花你自己那把 key 的额度,我们不代为出钱。
复测后仍然认为检测有误——无论你是用户还是被测站的运营者——可以发邮件到 contact@trustyhub.io,附上两份报告的检测编号。我们会复核原始证据;确实是检测的问题,会公开更正,并修正检测方法。