用户研究工具包
状态:尚未执行。 这是一套可以直接拿去用的材料:访谈提纲、可用性测试任务和记录模板。目前没有任何真实访谈或测试记录,因此本文不包含研究结论。完成研究后,请把结论写进 用户与场景分析,并在那里更新各条假设的状态。
研究目标
验证 用户与场景分析 里的六条假设(H1–H6),回答三个问题:
- 目标用户现在怎么处理反馈,最痛的环节是哪里?
- FeedLens 的四个字段和现有准确率,对他们够不够用?
- 他们愿不愿意把它放进现有流程,卡点在哪?
招募
| 项目 | 建议 |
|---|---|
| 人数 | 访谈 5–8 人;可用性测试 5 人(可与访谈对象重合) |
| 条件 | 最近一个月内亲自处理过用户反馈;所在团队不超过 30 人;负责一款已上线的消费类应用 |
| 角色配比 | 产品经理 3–4 人,运营或客服负责人 2 人,独立开发者 1–2 人 |
| 排除 | 所在公司已有专门的客户之声平台和标注团队 |
| 渠道 | 身边的同学和实习同事、产品社群、独立开发者社区 |
| 请对方准备 | 30–50 条近期真实反馈(脱敏后),用于可用性测试 |
访谈提纲(约 30 分钟)
开场说明:这次聊天是想了解你平时怎么处理用户反馈,没有标准答案。会做笔记,内容只用于改进一个学生项目,不会公开你的个人信息和公司数据。
第一部分:现状(10 分钟)
| 编号 | 问题 | 对应假设 | 追问 |
|---|---|---|---|
| Q1 | 请回忆最近一次整理用户反馈,是什么时候、从哪里看的、花了多久? | H1 | 能给我看看当时用的表格或工具吗? |
| Q2 | 这些反馈一般有多少条?多久看一次? | H1 | 有没有因为太多而放弃看的时候? |
| Q3 | 看完之后你会做什么?记在哪里?谁会看到? | H1 | 一条反馈从被看到,到变成一个任务,中间经过哪些步骤? |
| Q4 | 你们用过什么工具来帮忙吗?为什么用,或者为什么没用? | H1 | 试过用大模型帮忙总结吗?效果如何? |
第二部分:痛点(10 分钟)
| 编号 | 问题 | 对应假设 | 追问 |
|---|---|---|---|
| Q5 | 有没有过重要的反馈被漏掉或看晚了?能讲讲那次吗? | H2 | 后来是怎么发现的?造成了什么后果? |
| Q6 | 你怎么判断一条反馈急不急?有成文的标准吗? | H2, H3 | 团队里不同的人判断会不一样吗? |
| Q7 | 老板或团队问“最近用户在抱怨什么”,你怎么回答? | H2 | 有数字吗?数字是怎么来的? |
| Q8 | 整个过程里,你最不想做的是哪一步? | H2 | 如果能砍掉一步,砍哪步? |
第三部分:对方案的反应(10 分钟)
先不展示产品,口头描述:“有个工具,贴进去一批反馈,它给每条标上类别、情绪、紧急度,再写一句摘要。”
| 编号 | 问题 | 对应假设 | 追问 |
|---|---|---|---|
| Q9 | 听起来对你有用吗?你会在什么时候用它? | H1, H2 | 没用的话,缺了什么? |
| Q10 | 如果它十条里错一条,你还会用吗?错在哪种地方你最不能接受? | H4 | 把急的判成不急,和把不急的判成急,哪个更糟? |
| Q11 | 你们的反馈数据能发给外部服务吗?有没有相关规定? | H5 | “在自己电脑上跑,数据不出去”对你重要吗? |
| Q12 | 这九个类别(出示列表)和你们实际遇到的对得上吗?缺什么、多什么? | H3 | 你们自己有分类体系吗? |
收尾:还有什么我没问到、但你觉得重要的?能否介绍一位同样在处理反馈的朋友?
可用性测试(约 25 分钟)
准备:启动应用,确认顶栏显示模型已加载。请参与者共享屏幕,边做边说出想法。主持人不提示、不解释,只记录。
| 任务 | 指令(念给参与者) | 观察点 | 成功标准 |
|---|---|---|---|
| T1 初次理解 | “请看这个页面 30 秒,然后告诉我它是做什么的。” | 能否说出四个字段;是否注意到模型状态 | 30 秒内说出“给反馈分类 / 排优先级” |
| T2 单条分析 | “请挑一条你带来的反馈,让它分析一下。” | 是否找到输入框;等待时是否困惑;是否看原始输出 | 无提示完成 |
| T3 判断可信度 | “你觉得这个结果对吗?你是怎么判断的?” | 依据什么判断;是否展开规则对照;是否理解“非模型” | 能说出判断依据 |
| T4 批量分诊 | “请把你带来的所有反馈都分析一遍,找出最该先处理的三条。” | 是否找到批量页;是否理解排序;是否逐条核对 | 无提示完成,并给出三条 |
| T5 核对与修正 | “这些结果里有你不同意的吗?请指出来。” | 记录每一条不同意的字段和理由 | —(用于统计一致率) |
| T6 带走结果 | “你想把这些结果放进你平时用的表格,会怎么做?” | 是否发现导出;导出后是否满足需要 | 找到并使用导出 |
| T7 摘要可用性 | “请把其中 10 条摘要改成你自己会写的工单标题。” | 改动幅度 | —(对应 H6) |
| T8 信任边界 | “看一下评测结果页。看完后,你愿意在工作里试用它吗?” | 是否读懂表格;是否注意到“合成数据”的说明 | 能复述至少一条限制 |
测试后问三个问题:
- 用 1–5 分打分:这个工具对你的工作有多大帮助?为什么是这个分数?
- 如果只能改一个地方,你希望改什么?
- 什么情况下你会把它推荐给同事?
记录模板
访谈记录
## 访谈 #__
- 日期 / 时长:
- 受访者代号(不记真名): 角色: 团队规模:
- 负责的产品类型: 反馈主要来源:
- 每周反馈量(估): 整理频率:
### 现状(Q1–Q4)
- 流程(原话或接近原话):
- 使用的工具:
### 痛点(Q5–Q8)
- 最近一次漏掉重要反馈的经历:
- 判断紧急度的依据:
- 最不想做的步骤:
### 对方案的反应(Q9–Q12)
- 是否有用 / 何时会用:
- 可接受的错误率与最不能接受的错误:
- 数据外发限制:
- 对类别体系的意见:
### 假设检验
| 假设 | 支持 / 反对 / 无关 | 证据(原话) |
|---|---|---|
| H1 | | |
| H2 | | |
| H3 | | |
| H4 | | |
| H5 | | |
| H6 | | |
### 意外发现
可用性测试记录
## 测试 #__
- 日期: 参与者代号: 设备 / 浏览器:
- 带来的反馈条数: 模型版本(顶栏显示):
| 任务 | 完成情况(独立完成 / 提示后完成 / 未完成) | 用时 | 卡点与原话 |
|---|---|---|---|
| T1 | | | |
| T2 | | | |
| T3 | | | |
| T4 | | | |
| T5 | | | |
| T6 | | | |
| T7 | | | |
| T8 | | | |
### T5 逐条不同意记录
| 反馈原文(脱敏) | 模型结果 | 参与者认为应是 | 字段 | 理由 |
|---|---|---|---|---|
- 参与者核对的总条数: 不同意的条数: 一致率:
### T7 摘要修改
- 10 条中未修改: 小改(≤3 字): 重写:
### 测后三问
1. 帮助程度(1–5)与理由:
2. 最希望改的一处:
3. 推荐条件:
结果怎么用
| 得到的数据 | 用来做什么 |
|---|---|
| T5 的逐条不同意记录 | 这是第一批真实标注数据。经参与者同意并脱敏后,可作为真实测试集的种子,也能看出标注规范哪里和实际口径不符 |
| Q12 对类别的意见、“其他”的占比 | 决定是否调整类别体系(H3) |
| Q10 的回答、T3 的判断依据 | 决定是否需要置信度提示,以及紧急度是否应当“宁可判高”(H4) |
| T7 的修改比例 | 决定摘要的长度和风格(H6) |
| T1、T2、T4、T6 的完成情况 | 界面问题清单,按出现人数排序修复 |
伦理与数据处理
- 开始前明确告知用途,取得口头同意;不录音时也要告知在做笔记。
- 不记录真实姓名和公司名,用代号。
- 参与者带来的反馈在测试前由对方自行脱敏;测试在本地运行的应用上进行,数据不离开其设备。
- 未经明确同意,不把参与者的反馈数据加入训练集或公开测试集。
本页由 docs/11-user-research-kit.md 生成。