数据构建报告 · v2 增量
由
python -m feedlens.data.build_v2自动生成，数字全部来自实际运行，请勿手改。
- 合成语法版本：
synthetic_grammar_v2，随机种子 42 - 新增问题类型 44 个、核心表达 190 个
- 训练集新增 3262 条（新问题类型 2859 条 + 新紧急度修饰语 403 条）；验证集新增 475 条
- 新留出的测试集
test_v2new：381 条（新增问题类型里训练未见的说法） - v1 的 train / val / test 与两份手写集没有任何改动
各文件规模与分布
| 文件 | 条数 | 功能故障 | 性能体验 | 功能建议 | 界面交互 | 账号登录 | 支付订单 | 广告骚扰 | 表扬认可 | 其他 |
|---|---|---|---|---|---|---|---|---|---|---|
| train_v2 | 8408 | 1481 | 1083 | 779 | 878 | 957 | 942 | 888 | 763 | 637 |
| val_v2 | 1444 | 251 | 209 | 128 | 139 | 167 | 161 | 164 | 134 | 91 |
| test_v2new | 381 | 64 | 62 | 32 | 38 | 24 | 43 | 39 | 42 | 37 |
| 文件 | 正面 | 中性 | 负面 | 紧急度高 | 中 | 低 |
|---|---|---|---|---|---|---|
| train_v2 | 984 | 1316 | 6108 | 2145 | 3660 | 2603 |
| val_v2 | 173 | 188 | 1083 | 382 | 661 | 401 |
| test_v2new | 54 | 65 | 262 | 100 | 142 | 139 |
清洗与去重
1_generated：{"train/new_issue": 3562, "val/new_issue": 416, "test/new_issue": 432, "train/modifier": 408, "val/modifier": 120}2_rejected_by_validation：{}3_exact_duplicates_removed：{"test": 51, "val": 60, "train": 694}4_near_duplicates_removed：{"val": 1, "train": 14}5_new_train_rows_removed_as_leak：0
新增训练样本与各评测集的相似度
对每条评测样本，计算它与新增的训练/验证样本的字符三元组 Jaccard 相似度并取最大值。
其中 ood_test 一行用来检查：依据 ood_dev 做的数据改动，有没有无意中把 ood_test 的内容带进训练集。
| 评测集 | 样本数 | 最大相似度均值 | P95 | 最大 | ≥0.8 | ≥0.6 | ≥0.4 |
|---|---|---|---|---|---|---|---|
| test | 977 | 0.151 | 0.286 | 0.515 | 0 | 0 | 7 |
| ood_dev | 63 | 0.178 | 0.476 | 0.833 | 1 | 3 | 8 |
| ood_test | 117 | 0.036 | 0.107 | 0.143 | 0 | 0 | 0 |
| test_v2new | 381 | 0.156 | 0.333 | 0.688 | 0 | 2 | 11 |
ood_test 中与新增训练样本最相似的几对（供人工检查）：
- sim=0.143 评测：每次打开都要重新输密码，记住密码的勾选了也没用 ｜ 新增训练：每次打开都要先更新资源，等半天
- sim=0.138 评测：地图放大缩小的时候特别卡，经常糊成一片 ｜ 新增训练：升级完进入对局的时候特别卡，完全不能用了
- sim=0.125 评测：希望播放列表可以拖动排序 ｜ 新增训练：希望播放速度能自己调
- sim=0.118 评测：有没有人知道第三关怎么过 ｜ 新增训练：有人知道如何切换账号吗。
- sim=0.111 评测：想问一下可以用花呗分期吗 ｜ 新增训练：想问一下如何开启两步验证。
- sim=0.107 评测：更新后小组件一直显示无法加载，删了重加也一样 ｜ 新增训练：如题，搜索文件一直显示木有结果
- sim=0.107 评测：很喜欢这个app，要是能支持手写笔就完美了 ｜ 新增训练：这个app，点选验证一直提示失败。。。
- sim=0.081 评测：红包明明显示可用，提交订单的时候就是抵扣不了 ｜ 新增训练：提交订单的过程非常不顺畅，老是卡住几秒，彻底用不了。。。
ood_dev 中与新增训练样本最相似的几对（供人工检查）：
- sim=0.833 评测：祝大家新年快乐 ｜ 新增训练：嗯…祝大家新年快乐。
- sim=0.75 评测：楼上说得对 ｜ 新增训练：楼上说得对呀🙏
- sim=0.667 评测：test ｜ 新增训练：嗯…test？
- sim=0.5 评测：筛选条件选完没有确认按钮，不知道生效了没有 ｜ 新增训练：选完条件没有确认按钮，不知道生效了没。
- sim=0.476 评测：广告的关闭按钮是假的，点了直接开始下载 ｜ 新增训练：广告的关闭按钮是假的，一点就开始下载！！！
- sim=0.421 评测：登录的时候滑块验证怎么滑都不对，滑了二十多次 ｜ 新增训练：滑块验证怎么滑都不对！
- sim=0.417 评测：图标换得太丑了，还我原来的图标 ｜ 新增训练：图标换得太丑了。。。
- sim=0.4 评测：定时提醒根本不响，害我错过了吃药时间 ｜ 新增训练：定时提醒根本不响…
Token 长度检查（新增样本）
{"min": 69, "mean": 89.6, "max": 114, "limit": 220, "over_limit": 0}
本页由 data/reports/data_report_v2.md 生成。