模型说明卡:FeedLens-MiniMind v0.1.0
本文件由
python -m feedlens.package生成。指标读取自eval/results/ft-full-v1/,生成时间 2026-10-12 15:19:23。
一句话说明
把一条不超过 140 字的中文应用用户反馈,整理成四个字段:类别、情感、紧急度、一句话摘要。
来源与训练方式
本模型是基于 MiniMind 微调的模型:结构、分词器和起点权重都来自开源项目 MiniMind,本项目只在其上用任务数据继续训练。它不是从零训练的模型。
| 项目 | 内容 |
|---|---|
| 模型名称 / 版本 | FeedLens-MiniMind / 0.1.0 |
| 结构 | MiniMind-3 Dense,8 层,hidden 768,63.91M 参数,词表 6400 |
| 上游代码 | https://github.com/jingyaogong/minimind @ f659b55(Apache-2.0),未修改 |
| 基础权重 | MiniMind-3 full_sft_768.pth(官方对话微调权重) |
| 基础权重来源 | https://www.modelscope.cn/models/gongjy/minimind-3-pytorch,SHA256 5b8c49f6c9d96509… |
| 训练方式 | 全参数微调;可训练参数 63.912M(占 100.0%) |
| 训练数据 | data/processed/train.jsonl,5146 条,全部为合成数据(synthetic_grammar_v1) |
| 训练配置 | 3 轮,batch 32,学习率 0.0001(余弦退火),随机种子 42 |
| 选用检查点 | 第 483 步(验证损失最低,0.19333),共训练 483 步 |
| 训练设备与耗时 | mps,931 秒 |
| 训练记录 | runs/ft-full-v1/(config.json、train_log.jsonl、summary.json) |
| 权重文件 | models/feedlens-minimind-v0.1/weights.pth,131.3 MB,SHA256 82d38b4e1c4a2400… |
输入与输出
输入:一条中文反馈文本,2–140 字。
输出(固定四行,由 feedlens/schema.py 解析和校验):
类别:功能故障 | 性能体验 | 功能建议 | 界面交互 | 账号登录 | 支付订单 | 广告骚扰 | 表扬认可 | 其他
情感:正面 | 中性 | 负面
紧急度:高 | 中 | 低
摘要:不超过 20 字
评测结果
| 测试集 | 系统 | 样本数 | 格式合规 | 类别准确率 | 情感准确率 | 紧急度准确率 | 三标签全对 | 摘要 ROUGE-L |
|---|---|---|---|---|---|---|---|---|
| 同分布测试集 test | 本模型 | 977 | 100.0% | 75.5% | 91.1% | 83.8% | 66.8% | 62.2% |
| 同分布测试集 test | 关键词规则基线 | 977 | 100.0% | 75.2% | 79.6% | 78.9% | 71.9% | 29.3% |
| 分布外测试集 ood_test(手写) | 本模型 | 117 | 99.1% | 72.6% | 85.5% | 72.6% | 58.1% | 35.9% |
| 分布外测试集 ood_test(手写) | 关键词规则基线 | 117 | 100.0% | 65.0% | 69.2% | 72.6% | 58.1% | 32.4% |
在三标签全对率上,本模型没有超过关键词规则基线:同分布测试集上本模型 66.8%、规则 71.9%(相差 -5.0 个百分点);分布外测试集上本模型 58.1%、规则 58.1%(相差 +0.0 个百分点)。按核心表达聚类的置信区间见 eval/analysis/paired_comparison.md,评测报告里有逐字段的比较。本模型相对规则的优势在情感判断和同分布数据上的摘要。
计分口径:格式不合规的输出按错误计;三标签全对 = 类别、情感、紧急度同时正确。完整对比(训练前、其他训练方式、第二轮数据)见 eval/REPORT.md 和 docs/09-evaluation.md。
适用范围
- 消费类移动应用的短反馈:应用商店评论、客服留言、社群吐槽
- 作为人工分诊前的预整理:先归类、排紧急度,再由人确认
- 与关键词规则配合使用:评测中两者三个标签完全一致的样本约占一半,这部分准确率明显更高(见评测报告 5.1 节)
- 学习和演示“小模型任务微调”的完整流程
不适用与已知限制
- 训练和测试数据都是合成的,没有用真实用户反馈验证过。上面的数字不能直接当作线上效果。
- 只在 9 个类别、消费类应用的常见问题上训练过。B 端软件、硬件、行业术语不在范围内。
- 一条反馈里有多个诉求时只会给出一个类别;超过 140 字的长文本没有训练过。
- 摘要在训练没见过的问题上不可靠:模型会把背过的摘要模板和输入里的词拼在一起,可能得到不通顺、甚至通顺但意思错误的摘要(评测中出现过把“不同账号价格不一致”写成“我的账号被盗”)。摘要必须人工核对。
- 选用的检查点是按验证集选出的;它在测试集上并不是各候选里最高的。只跑了一个随机种子。
- 紧急度标签来自本项目自定的规范(见
docs/data.md),不等同于任何团队实际的优先级定义。 - 模型没有拒答机制:输入与用户反馈无关的内容,也会被归入某个类别(通常是“其他”)。
- 不应用于自动做出影响用户权益的决定(如封号、拒绝退款)。
如何加载
from feedlens.modeling import FeedLensModel
model = FeedLensModel.from_dir("models/feedlens-minimind-v0.1", device="cpu")
pred = model.predict("更新完之后一点开就闪退,重装了两次都没用")
print(pred.raw_output) # 模型原始的四行输出
print(pred.parsed.fields) # 解析后的字段;pred.parsed.valid 表示是否通过格式校验
命令行:python -m feedlens.infer --model models/feedlens-minimind-v0.1 "反馈文本"
权重同时兼容上游 MiniMind:把 weights.pth 复制为 third_party/minimind/out/full_sft_768.pth 后可用上游 eval_llm.py 加载。
许可
本模型权重以 Apache License 2.0 发布(见仓库根目录 LICENSE 与 NOTICE)。模型结构与基础权重来自 MiniMind,同样遵循 Apache-2.0;再分发时请保留 NOTICE 中的归属信息。
本页由 models/feedlens-minimind-v0.1/MODEL_CARD.md 生成。