ARTI 指南
评价已保存任务结果
分别记录参考可用性、测量指标、总体覆盖与验收策略，无需重跑模型即可评价已提交结果。
定义独立评价视图
EvaluationSuiteConfig 包含命名视图。本地 scorer 接收原输入、预测、target 与执行上下文，返回有限指标，并为每个可评价 ID 返回一条 score 记录。Scorer 负责单位与正确性规则。
| 视图 requires | 测量什么 | 缺少证据时 |
|---|---|---|
| reference | 预测对明确 target | unavailable；不推断标签 |
| output | 已提交格式、文件有效性或对齐 | 保留真实输出总体 |
| external | 独立产生的协议证据 | 保留声明的外部来源 |
评价已提交日志
提供 suite 配置和明确参考记录。服务校验已提交输出并运行已安装 scorer，不加载模型或任务 factory。文件 scorer 接收已校验的相对文件上下文。
python -m arti recipe score-suite outputs/prediction --suite suite.json --references references.jsonl --output evaluation.json应用明确验收策略
Criteria 用任务自己的单位声明最低或最高阈值。没有 criteria 时 criteria_passed=None；缺少指标时为 not_evaluable。Scored 视图表示发生了测量，不自动表示正确；complete_evidence 与验收分别记录。
可选的已安装 aggregator 可以用声明权重与自身修订合并视图。没有默认综合分或指标方向。其他视图可以完成，但 scorer 失败保持可见。
比较同一批样本
默认 compare_prediction_suites 配对相同已提交 ID 与精确原输入内容。Trial 状态和 seed 保持明确。Candidate 减 baseline 的差值要求已评分 ID 集合一致，方向和单位由任务定义。
python -m arti recipe compare-suites outputs/candidate --baseline outputs/baseline --suite suite.json --references references.jsonl --output comparison.json本文对应 arti-fit 3.3.0 · 公开源码 dcb321d6