你们怎么给模型打分？
每个维度都有一套固定的测试集和一份带锚点的 0 到 10 分评分标准。模型跑完整套测试，由人对照锚点给输出打分；只要输出本身不暴露身份，打分时就隐去模型名称；该维度的分数取平均值。大语言模型可以对输出做初筛，但从不决定最终分数。
GenGrades 评测方法：AI 工具与模型怎么测、怎么打分
最后更新
每个分数都遵守的七条规则
GenGrades 的评测方法包括每个维度一套固定测试集、一个带锚点的 0 到 10 分尺度、每个分类公开的权重，以及一条铁律：任何分数都不凭印象给。同一分类里的每个模型都跑同样的测试，所以 7 分在每个页面上意思都一样；每个结果都能用我们公开的提示词和输出复现。
每个维度一套测试集
每个维度都有一套固定的提示词和输入，以及一份写明锚点的评分标准。我们不凭演示打分，也不凭印象里某个模型上个月的表现打分。
两层：模型与产品
模型能力看输出。产品体验看使用工具的过程：上手、定价、限制、导出。工具页面两层都会展示。
权重按分类设定，总分取加权平均
每个分类自己决定各维度占多大分量，并公开出来。没有万能冠军：首页标注的是每个工具最擅长什么，而不是选出一个样样第一的赢家。
能盲评就盲评，由人定分
只要输出本身不暴露身份，打分时就隐去模型名称。大语言模型可以做初筛，最终分数由人来定。
每个分数都注明日期和版本
新版本就重跑一遍、给一个新分数。旧分数继续公开，进步和退步都看得见。
每篇评测都给结论，也点明致命短板
一句话结论、适合谁、不适合谁，以及最可能让你放弃它的那一个缺陷。“不适合谁”这一项从不手下留情。
提示词和原始输出全部公开
原样的提示词和它们生成的输出都会公开（带水印），读者可以核查我们的工作。我们的可信度正是从这里来的。
0 到 10 分的评分尺度
每份评分标准都按这五个分段来写，所以分数表达的是好不好用，而不是排第几。
| 分段 | 等级 | 含义 |
|---|---|---|
| 0 到 2 | 不可用 | 完全完成不了任务，或者产出的东西不推倒重做就没法用。 |
| 3 到 4 | 较差 | 只完成了一部分，结果要大幅修改才能用。 |
| 5 到 6 | 合格 | 日常使用够用；有明显瑕疵，但不至于让你用不下去。 |
| 7 到 8 | 良好 | 稳定可靠，只有小瑕疵；大多数人会放心直接拿去用。 |
| 9 到 10 | 同类最佳 | 在测试时，这一维度上不输任何现有产品。 |
我们测什么
九个通用维度适用于每个模型。每种模态再加上自己的维度，各配一套测试集。工具还要按产品体验打分。
所有模型通用
- 指令遵循
- 输出有没有做到提示词要求的事，包括数量、相互关系和各项约束？
- 输出质量
- 按该模态的评分标准评判：保真度、连贯性、精细程度。
- 一致性
- 同一条提示词重复运行时结果的波动。五次里只有一次出彩的模型，这一项得分会很低。
- 速度
- 首个 token 或首帧的出现时间，以及完成时间，均由我们实测。
- 价格
- 按每张图、每秒、每分钟或每百万 token 计，取自厂商价目表，并注明我们核对的日期。
- 失败率
- 在整个测试集上，普通请求出现报错、超时和拒绝的情况。
- 内容审核尺度
- 无害的提示词被拒绝的频率；拦得过严和拦得不够都会扣分。
- 授权许可
- 输出能否商用、归谁所有，依据我们读过的条款。
- 隐私
- 你的输入是否默认被用于训练，以及能否选择退出。
按模态
- 图像生成
- 提示词遵循（物体数量、相互关系、属性）、文字渲染、美感与构图、真实感与风格广度、人体结构与手部、多张图之间的主体一致性、分辨率与画幅比例、参考图与风格控制。
- 图像编辑
- 指令保真（只改要求改的地方）、未改动区域的保留（人物身份、背景）、边缘与蒙版精度、文字编辑、多轮编辑、分辨率保持、局部重绘与扩图、图层分离。
- 视频生成
- 运动质量与物理合理性、时间一致性（闪烁、形变）、提示词遵循、镜头控制、时长、分辨率与帧率、图生视频对原图的还原度、跨镜头的角色一致性、原生音频、成功率。
- 视频剪辑工具
- 功能覆盖（剪辑、字幕、去背景、超分辨率放大）、核心编辑的质量、导出格式与限制、处理速度、协作。
- 语音与文本转语音
- 自然度，人名、数字和缩写的读音，情绪与风格控制，声音克隆的质量及其授权同意政策，支持的语言和口音，实时场景下的延迟，长文本的一致性，控制粒度（如 SSML）。
- 音频处理与语音转写
- 口音和噪声下的词错误率、说话人分离、时间戳、支持的语言数量、速度。
- 音乐
- 音乐性与结构、提示词遵循（曲风、情绪、速度）、人声与歌词准确度、时长与分轨导出、原创性与版权安全、商用许可。
- 语言模型与写作
- 指令遵循、事实准确性与幻觉率、推理、长上下文、写作质量（风格控制、自然度、读起来有多像机器写的）、结构化输出与工具调用、多语言能力、上下文长度、吞吐量与延迟。
产品体验（针对工具）
- 上手难易
- 工作流适配：插件、API、集成
- 定价透明度与性价比
- 免费额度及其限制
- 稳定性
- 文档与支持
- 数据隐私条款
- 团队功能
- 导出与作品归属
- 更新频率
权重与总分
总分是各维度分数的加权平均，权重取该条目所在分类的权重。每个分类页都公开权重，权重可以调整，调整后该分类下的所有总分都会重新计算。下面以图像生成使用的权重为例，一切以分类页为准。
| 维度 | 权重 |
|---|---|
| 提示词遵循 | 25% |
| 输出质量 | 25% |
| 价格 | 15% |
| 文字渲染 | 10% |
| 一致性 | 10% |
| 速度 | 10% |
| 授权许可 | 5% |
重测、时效，以及我们绝不做的事
新版本，重新测
模型发布新版本时，我们会重跑它的测试集，发布一个注明日期的新分数。旧分数保留。每次重测都有成本上限。
事实都注明日期
关于厂商的每个价格、限制或说法，都标明来源和我们核对的日期。过时的事实比没有还糟，所以日期始终可见。
不编造数字
没有真实用户投票，就不出综合评分。没有测试支撑，就没有分数。分数不出售；如有推广链接，会明确标出，且不改变任何结果。
利益冲突
我们的立场
GenGrades 背后的团队也在做 AI 工具，包括 LayerGrab、MagicRemover 和 apimodels 模型网关，我们的许多测试也是通过 apimodels 来跑的。只要这些产品出现，我们都会披露这层关系；它们和其他产品一样，跑同一套测试集，同样盲评，同样公开输出。如果你认为某个分数有问题，提示词和输出都是公开的：请指出问题在哪里。
关于评测方法的常见问题
为什么一个工具有两组分数？
因为工具等于模型加产品。模型能力分评的是输出本身；产品体验分评的是使用过程，从定价透明度到导出。工具页面两组分数都列出来，你就能分清是好模型配了差产品，还是反过来。
总分怎么算？
总分是各维度分数的加权平均，权重取该条目所在分类的权重。每个分类页都公开权重，调整任何一个权重，该分类下的所有总分都会重新计算。
模型发布新版本后会怎样？
我们会在新版本上重跑测试集，发布一个新分数，并注明日期和版本号。旧分数保留在记录里，你可以看出这个模型有没有进步。每次重测都有成本上限，不让任何单个模型打乱我们的预算。
你们会发布用户评分或综合评分吗？
不会。在有真实用户投票支撑之前，GenGrades 不发布综合评分，也从不展示没有实测过的数字。网站上的评分只有我们自己给的，并标注为 GenGrades 的评测。
我能复现你们的结果吗？
可以，这正是我们的用意。每套测试集的提示词和输入文件都公开，原始输出也公开（带水印）。在同一版本上跑同样的提示词，你应该会得到同类的结果；如果没有，告诉我们，我们会重测。