系统之间的成对比较（按核心表达聚类的自助法）
由
scripts/compare_systems.py根据eval/results/下的逐条预测生成。指标为三标签全对率。
同一个核心表达生成的样本对错高度相关，所以这里按核心表达整组重采样（2000 次），而不是逐样本重采样。 手写的分布外集每条自成一组。差值的 95% 区间不包含 0 才能说两个系统有可分辨的差别。
val（969 条，69 组）
| 比较 | A：全对率 %（聚类 95% 区间） | B：全对率 %（聚类 95% 区间） | A − B（百分点） | 差值的 95% 区间 | 区间不含 0 | 仅 A 对 / 仅 B 对（条） |
|---|---|---|---|---|---|---|
| 发布模型 vs 关键词规则 | ft-full-v1 78.9（69.8–86.9） |
rules 74.3（64.7–83.1） |
+4.6 | -5.6 ～ +15.3 | 否 | 151 / 106 |
| LoRA（训练结束时）vs 关键词规则 | ft-lora-v1-last 69.0（59.3–78.2） |
rules 74.3（64.7–83.1） |
-5.3 | -16.1 ～ +5.1 | 否 | 116 / 167 |
| 有预训练权重 vs 随机初始化 | ft-full-v1 78.9（69.8–86.9） |
scratch-v1 58.7（48.7–68.8） |
+20.2 | +12.6 ～ +28.1 | 是 | 218 / 22 |
| 全参数 vs LoRA（训练结束时） | ft-full-v1 78.9（69.8–86.9） |
ft-lora-v1-last 69.0（59.3–78.2） |
+9.9 | +0.3 ～ +19.5 | 是 | 167 / 71 |
| LoRA：训练结束时 vs 验证损失最低 | ft-lora-v1-last 69.0（59.3–78.2） |
ft-lora-v1 64.0（54.1–73.6） |
+5.1 | +1.7 ～ +9.1 | 是 | 55 / 6 |
| v2 数据：训练结束时 vs 验证损失最低 | ft-full-v2-last 75.0（65.3–84.1） |
ft-full-v2 68.3（59.3–76.8） |
+6.7 | -2.0 ～ +15.3 | 否 | 141 / 76 |
| v2 数据 vs v1 数据（都取训练结束时的权重） | ft-full-v2-last 75.0（65.3–84.1） |
ft-full-v1 78.9（69.8–86.9） |
-3.9 | -13.6 ～ +5.5 | 否 | 89 / 127 |
| v2 数据的模型 vs 关键词规则 | ft-full-v2-last 75.0（65.3–84.1） |
rules 74.3（64.7–83.1） |
+0.7 | -11.1 ～ +12.3 | 否 | 160 / 153 |
test（977 条，70 组）
| 比较 | A：全对率 %（聚类 95% 区间） | B：全对率 %（聚类 95% 区间） | A − B（百分点） | 差值的 95% 区间 | 区间不含 0 | 仅 A 对 / 仅 B 对（条） |
|---|---|---|---|---|---|---|
| 发布模型 vs 关键词规则 | ft-full-v1 66.8（57.0–76.8） |
rules 71.9（62.4–81.2） |
-5.0 | -18.0 ～ +9.1 | 否 | 171 / 220 |
| LoRA（训练结束时）vs 关键词规则 | ft-lora-v1-last 71.4（62.5–80.4） |
rules 71.9（62.4–81.2） |
-0.4 | -12.5 ～ +12.3 | 否 | 168 / 172 |
| 有预训练权重 vs 随机初始化 | ft-full-v1 66.8（57.0–76.8） |
scratch-v1 58.8（49.0–68.6） |
+8.1 | +0.4 ～ +15.9 | 是 | 152 / 73 |
| 全参数 vs LoRA（训练结束时） | ft-full-v1 66.8（57.0–76.8） |
ft-lora-v1-last 71.4（62.5–80.4） |
-4.6 | -12.7 ～ +3.4 | 否 | 69 / 114 |
| LoRA：训练结束时 vs 验证损失最低 | ft-lora-v1-last 71.4（62.5–80.4） |
ft-lora-v1 70.3（61.7–79.0） |
+1.1 | -2.3 ～ +4.6 | 否 | 45 / 34 |
| v2 数据：训练结束时 vs 验证损失最低 | ft-full-v2-last 73.7（64.4–82.2） |
ft-full-v2 69.2（60.3–77.6） |
+4.5 | -4.1 ～ +13.1 | 否 | 140 / 96 |
| v2 数据 vs v1 数据（都取训练结束时的权重） | ft-full-v2-last 73.7（64.4–82.2） |
ft-full-v1 66.8（57.0–76.8） |
+6.9 | -2.3 ～ +15.8 | 否 | 146 / 79 |
| v2 数据的模型 vs 关键词规则 | ft-full-v2-last 73.7（64.4–82.2） |
rules 71.9（62.4–81.2） |
+1.8 | -8.2 ～ +11.7 | 否 | 141 / 123 |
ood_test（117 条，117 组）
| 比较 | A：全对率 %（聚类 95% 区间） | B：全对率 %（聚类 95% 区间） | A − B（百分点） | 差值的 95% 区间 | 区间不含 0 | 仅 A 对 / 仅 B 对（条） |
|---|---|---|---|---|---|---|
| 发布模型 vs 关键词规则 | ft-full-v1 58.1（49.6–67.5） |
rules 58.1（49.6–67.5） |
+0.0 | -11.1 ～ +12.0 | 否 | 23 / 23 |
| LoRA（训练结束时）vs 关键词规则 | ft-lora-v1-last 64.1（55.6–72.6） |
rules 58.1（49.6–67.5） |
+6.0 | -6.0 ～ +17.1 | 否 | 27 / 20 |
| 有预训练权重 vs 随机初始化 | ft-full-v1 58.1（49.6–67.5） |
scratch-v1 51.3（42.7–60.7） |
+6.8 | -4.3 ～ +17.1 | 否 | 25 / 17 |
| 全参数 vs LoRA（训练结束时） | ft-full-v1 58.1（49.6–67.5） |
ft-lora-v1-last 64.1（55.6–72.6） |
-6.0 | -16.2 ～ +3.4 | 否 | 14 / 21 |
| LoRA：训练结束时 vs 验证损失最低 | ft-lora-v1-last 64.1（55.6–72.6） |
ft-lora-v1 60.7（52.1–69.2） |
+3.4 | -1.7 ～ +8.5 | 否 | 7 / 3 |
| v2 数据：训练结束时 vs 验证损失最低 | ft-full-v2-last 53.0（44.4–62.4） |
ft-full-v2 54.7（45.3–64.1） |
-1.7 | -12.0 ～ +8.5 | 否 | 17 / 19 |
| v2 数据 vs v1 数据（都取训练结束时的权重） | ft-full-v2-last 53.0（44.4–62.4） |
ft-full-v1 58.1（49.6–67.5） |
-5.1 | -15.4 ～ +5.1 | 否 | 16 / 22 |
| v2 数据的模型 vs 关键词规则 | ft-full-v2-last 53.0（44.4–62.4） |
rules 58.1（49.6–67.5） |
-5.1 | -17.9 ～ +7.7 | 否 | 26 / 32 |
发布模型与关键词规则：逐字段比较
数值为百分比（ROUGE-L 乘以 100）。
| 数据 | 指标 | ft-full-v1 |
rules |
差值 | 差值的 95% 区间（聚类） | 区间不含 0 |
|---|---|---|---|---|---|---|
| test | 类别准确率 | 75.5 | 75.2 | +0.3 | -11.3 ～ +11.9 | 否 |
| test | 情感准确率 | 91.1 | 79.6 | +11.5 | +2.7 ～ +20.9 | 是 |
| test | 紧急度准确率 | 83.8 | 78.9 | +4.9 | -6.0 ～ +16.8 | 否 |
| test | 三标签全对率 | 66.8 | 71.9 | -5.0 | -18.0 ～ +9.1 | 否 |
| test | 摘要 ROUGE-L | 62.2 | 29.3 | +32.9 | +25.7 ～ +40.5 | 是 |
| ood_test | 类别准确率 | 72.6 | 65.0 | +7.7 | -2.6 ～ +17.9 | 否 |
| ood_test | 情感准确率 | 85.5 | 69.2 | +16.2 | +6.8 ～ +25.6 | 是 |
| ood_test | 紧急度准确率 | 72.6 | 72.6 | +0.0 | -10.3 ～ +11.1 | 否 |
| ood_test | 三标签全对率 | 58.1 | 58.1 | +0.0 | -11.1 ～ +12.0 | 否 |
| ood_test | 摘要 ROUGE-L | 35.9 | 32.4 | +3.5 | -3.1 ～ +10.2 | 否 |
本页由 eval/analysis/paired_comparison.md 生成。