FeedLens反馈透镜

模型说明卡:FeedLens-MiniMind v0.1.0

本文件由 python -m feedlens.package 生成。指标读取自 eval/results/ft-full-v1/,生成时间 2026-10-12 15:19:23。

一句话说明

把一条不超过 140 字的中文应用用户反馈,整理成四个字段:类别、情感、紧急度、一句话摘要。

来源与训练方式

本模型是基于 MiniMind 微调的模型:结构、分词器和起点权重都来自开源项目 MiniMind,本项目只在其上用任务数据继续训练。它不是从零训练的模型。

项目 内容
模型名称 / 版本 FeedLens-MiniMind / 0.1.0
结构 MiniMind-3 Dense,8 层,hidden 768,63.91M 参数,词表 6400
上游代码 https://github.com/jingyaogong/minimind @ f659b55(Apache-2.0),未修改
基础权重 MiniMind-3 full_sft_768.pth(官方对话微调权重)
基础权重来源 https://www.modelscope.cn/models/gongjy/minimind-3-pytorch,SHA256 5b8c49f6c9d96509…
训练方式 全参数微调;可训练参数 63.912M(占 100.0%)
训练数据 data/processed/train.jsonl,5146 条,全部为合成数据(synthetic_grammar_v1)
训练配置 3 轮,batch 32,学习率 0.0001(余弦退火),随机种子 42
选用检查点 第 483 步(验证损失最低,0.19333),共训练 483 步
训练设备与耗时 mps,931 秒
训练记录 runs/ft-full-v1/(config.json、train_log.jsonl、summary.json)
权重文件 models/feedlens-minimind-v0.1/weights.pth,131.3 MB,SHA256 82d38b4e1c4a2400…

输入与输出

输入:一条中文反馈文本,2–140 字。

输出(固定四行,由 feedlens/schema.py 解析和校验):

类别:功能故障 | 性能体验 | 功能建议 | 界面交互 | 账号登录 | 支付订单 | 广告骚扰 | 表扬认可 | 其他
情感:正面 | 中性 | 负面
紧急度:高 | 中 | 低
摘要:不超过 20 字

评测结果

测试集 系统 样本数 格式合规 类别准确率 情感准确率 紧急度准确率 三标签全对 摘要 ROUGE-L
同分布测试集 test 本模型 977 100.0% 75.5% 91.1% 83.8% 66.8% 62.2%
同分布测试集 test 关键词规则基线 977 100.0% 75.2% 79.6% 78.9% 71.9% 29.3%
分布外测试集 ood_test(手写) 本模型 117 99.1% 72.6% 85.5% 72.6% 58.1% 35.9%
分布外测试集 ood_test(手写) 关键词规则基线 117 100.0% 65.0% 69.2% 72.6% 58.1% 32.4%

在三标签全对率上,本模型没有超过关键词规则基线:同分布测试集上本模型 66.8%、规则 71.9%(相差 -5.0 个百分点);分布外测试集上本模型 58.1%、规则 58.1%(相差 +0.0 个百分点)。按核心表达聚类的置信区间见 eval/analysis/paired_comparison.md,评测报告里有逐字段的比较。本模型相对规则的优势在情感判断和同分布数据上的摘要。

计分口径:格式不合规的输出按错误计;三标签全对 = 类别、情感、紧急度同时正确。完整对比(训练前、其他训练方式、第二轮数据)见 eval/REPORT.md 和 docs/09-evaluation.md。

适用范围

不适用与已知限制

如何加载

from feedlens.modeling import FeedLensModel

model = FeedLensModel.from_dir("models/feedlens-minimind-v0.1", device="cpu")
pred = model.predict("更新完之后一点开就闪退,重装了两次都没用")
print(pred.raw_output)          # 模型原始的四行输出
print(pred.parsed.fields)       # 解析后的字段;pred.parsed.valid 表示是否通过格式校验

命令行:python -m feedlens.infer --model models/feedlens-minimind-v0.1 "反馈文本"

权重同时兼容上游 MiniMind:把 weights.pth 复制为 third_party/minimind/out/full_sft_768.pth 后可用上游 eval_llm.py 加载。

许可

本模型权重以 Apache License 2.0 发布(见仓库根目录 LICENSE 与 NOTICE)。模型结构与基础权重来自 MiniMind,同样遵循 Apache-2.0;再分发时请保留 NOTICE 中的归属信息。

本页由 models/feedlens-minimind-v0.1/MODEL_CARD.md 生成。