Beta阶段测试报告
| 项目 | 内容 |
|---|---|
| 这个作业属于哪个课程 | 2021春季软件工程（罗杰 任健） |
| 这个作业的要求在哪里 | Beta-测试报告 |
| 我们是谁 | 删库跑路对不队 |
| 我们在做什么 | 题士 |
| 进度如何 | 进度总览 |
一、Bug报告
1.Bug
| bug | 修复过程 | 修复结果 | 对应issue |
|---|---|---|---|
| 考期日历未选择日期的报错在下一次添加考期日历时仍存在 | 每次添加考期日历时均清空输入内容或报错内容等 | 再次添加考期日历时无上一次添加考期日历的内容和报错 | 考期日历未选择日期报错清除 |
| 我的界面切换科目undefined | 在我的界面显示首页用户已选择的科目 | 我的界面可以正常显示当前科目，且切换时不存在undefined现象 | 我的界面切换科目undefined |
| IOS系统在问答社区回复帖子时无法自动弹出输入框 | 调整问答社区帖子内容编辑组件 | 任何系统下都可以正常输入内容，回复帖子 | IOS系统在问答社区回复帖子时无法自动弹出输入框 |
| 后台管理处理举报后向举报者发布官方通知后，消息通知和我的icon上无新消息数量的数字显示 | 同步更新所有消息通知提醒 | 当开启对应的消息通知时，会在消息通知和我的icon上正确显示未读的消息数量 | 后台管理处理举报后向举报者发布官方通知后，消息通知和我的icon上无新消息数量的数字显示 |
| 题库章节题目过长无法正常显示 | 调整题库章节显示组件 | 所有科目的题库章节题目可以正常显示 | 题库章节题目过长无法正常显示 |
| 帖子举报内容无最低长度限制且点击另一个帖子评论回复举报内容未清空 | 添加帖子举报内容长度限制，提交举报时清空举报内容和报错信息 | 限制举报内容至少为40个字，再次举报时无上次举报相关内容 | 帖子举报内容无最低长度限制且点击另一个帖子评论回复举报内容未清空 |
| 问答社区非提问者点击帖子评论回复标记为正确答案，没有提示（或标记），且再次点击时，显示取消标记正确答案 | 调整标记正确答案的显示判断 | 可以正常显示是否标记为正确答案 | 问答社区非提问者点击帖子评论回复标记为正确答案，没有提示（或标记），且再次点击时，显示取消标记正确答案 |
| 为每个用户更新考期日历是否到期状态时，从数据库取出日期数据未作处理，导致使用了UTC时间与北京时间比较，进而导致更新失败 | 对UTC时间进行处理，转换为北京时间 | 已能正常判断考期日历是否到期 | UTC时间未处理 |
2.功能改进
| 功能改进 | 改进过程 | 改进结果 | 对应issue |
|---|---|---|---|
| 知识卡片无权修改、删除、切换颜色提示词修改 | 将你修改为您 | 默认知识卡片无权修改时提示“请您新建一个尝试” | 知识卡片无权修改、删除、切换颜色提示词修改 |
| 问答社区无权限操作提示修改为中文 | 将所有提示词替换为对应的中文 | 提示“您无权限操作” | 问答社区无权限操作提示修改为中文 |
| 增大问答社区帖子回复icon大小，方便用户点击 | 增大相应icon大小 | 用户更方便对帖子回复点赞或进行其他操作 | 增大问答社区帖子回复icon大小，方便用户点击 |
二、场景测试
我们针对产品的典型用户进行了以下五类划分：普通学生，大佬，DDL选手，助教和老师，分别对其进行场景测试，结果如下：
普普通通，平平无奇的普通学生
| 内容 | 说明 |
|---|---|
| 用户姓名 | 钉崎野蔷薇 |
| 照片 |  |
| 用户身份 | 19岁，女大学生，普普通通的大学生，各项能力平均 |
| 用户痛点1 | 有一定学习基础，想要通过做题对学习内容进行复习，获得中等偏上的成绩 |
| 用户痛点2 | 对基础题目能够正确作答，对于难题存在作答障碍或者理解困难 |
| 用户痛点3 | 对于恶心的题目，有强烈的吐槽欲望 |
| Beta版对应功能 | 在问答社区发帖，对难题进行讨论 |
| 使用预期场景 | 日常学习时，通过题士多模式刷题及时回顾学习内容，巩固知识点；在遇到难题时，通过问答社区提问，等待大佬或者老师助教的解答；在做题的同时，在题目讨论区吐槽，创作 |
| 用户比例 | 50% |
学习无难事，万人膜拜的大佬
| 内容 | 说明 |
|---|---|
| 用户姓名 | 伏黑惠 |
| 照片 |  |
| 用户身份 | 20岁，男大学生，学习能力强，愿意为同学答疑解惑，分享做题经验 |
| 用户痛点1 | 想要更有效率地进行做题和复习，对题目进行整理和分类，方便记录做题笔记，获得高分 |
| 用户痛点2 | 没有便捷途径获得往年的考题资料，及时复习 |
| 用户痛点3 | 想要有个途径对自己的踩坑进行记录和分享 |
| Beta版对应功能 | 快速浏览知识卡片，记忆概念定义或简答题 |
| 使用预期场景 | 日常做题，通过平台能够方便整理错题，同时收藏好题和易错题；在做题同时，记录解题思路和对应知识点；通过资源分享社区，及时获取往年真题，及时刷题 |
| 用户比例 | 20% |
平时玩乐，期末完了的DDL选手
| 内容 | 说明 |
|---|---|
| 用户姓名 | 虎杖悠仁 |
| 照片 |  |
| 用户身份 | 20岁，男大学生，摸鱼一时爽，期末火葬场，不到期末绝不复习的DDL选手 |
| 用户痛点1 | 期末考前，想要通过最短时间过最多的题，同时重点关注好题和易错题 |
| 用户痛点2 | 知识点难以在短时间记忆，希望有人分享知识点记忆技巧 |
| Beta版对应功能 | 快速浏览知识卡片，记忆概念定义或简答题；在考期日历设置考试时间，查看考期提醒以避免错过考试 |
| 使用预期场景 | 三天之后航概期末考试，在短时间内，通过大量快速过题进行复习；吸取踩坑经验，做题小技巧，尽全力不挂科 |
| 用户比例 | 25% |
腼腆但是热情的课程助教
| 内容 | 说明 |
|---|---|
| 用户姓名 | 两面宿傩 |
| 照片 |  |
| 用户身份 | 24岁，男研究生，课程助教，内向腼腆，有耐心愿意为同学答疑解惑 |
| 用户痛点1 | 同学们常常提问同质问题，每次都需要重新回答同样的内容 |
| 用户痛点2 | 班级群中发布的资料常常过期，需要重新发送 |
| Beta版对应功能 | 在问答社区查看问题讨论，在资源社区上传课程资料 |
| 使用预期场景 | 助教通过翻阅提问区问题，对共性题目统一解答；通过平台上传资料，不用担心资源过期，不能下载的问题 |
| 用户比例 | 4% |
有责任心的老教师
| 内容 | 说明 |
|---|---|
| 用户姓名 | 五条悟 |
| 照片 |  |
| 用户身份 | 45岁，教授，课程主讲教师 |
| 用户痛点 | 希望了解同学们对于学习该门课程普遍的难点，痛点，针对性讲解题目，整理知识点，帮助同学们通过课程 |
| Beta版对应功能 | 在讨论区查看同学常常讨论的问题 |
| 使用预期场景 | 打开题士，查询易错题和讨论区常见问题，制定习题课和复习课计划，帮助同学们针对性复习 |
| 用户比例 | 1% |
三、测试矩阵
| 测试机型 | 测试环境（机型，版本，分辨率） | 考期日历 | 知识卡片 | 问答社区 | 资源社区 | 帖子|评论举报 | 查看消息通知 | 模拟考试实时判题模式 | 模拟考试统一判题模式 |
|---|---|---|---|---|---|---|---|---|---|
| 华为P20 | 10.0.0 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| 小米10 | 12.0.1 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| 华为P10 | 9.1.0 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| 红米k30 | 11.0.11 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| 华为P40 | 11.0.0 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| iphone12 Pro max | 14.6 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
| iphone11 | 14.6 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 |
四、出口条件
1.小程序性能测试
利用微信公众平台自带的统计及性能分析功能，依据微信小程序性能评分方法与规则，对小程序性能进行如下两方面测试
1.1 渲染时间
渲染时间指的是首次渲染或因数据变化带来的页面结构变化的渲染花费的时间。
渲染界面的耗时过长会让用户觉得卡顿，体验较差，出现这一情况时，需要校验下是否同时渲染的区域太大（例如列表过长），或渲染依赖的计算是否过于复杂。
得分条件：渲染时间不超过 500ms
页面切换耗时即为新页面渲染时间，微信公众平台统计结果如下：
页面切换耗时均小于360ms，达到不超过500ms的标准
1.2 网络请求耗时
请求的耗时太长会让用户一直等待甚至离开，应当优化好服务器处理时间、减小回包大小，让请求快速响应。
得分条件：所有网络请求都在 1 秒内返回结果
微信公众平台统计结果如下：
请求延迟均小于700ms，达到1秒内返回结果的标准
2.前端测试
| 页面 | 功能描述 | 测试结果 |
|---|---|---|
| 考期日历 | 1.按时间先后顺序显示考期日历 2.添加考期日历 3.修改考期日历标题及内容 4.删除考期日历 5.根据当前时间区分已完成和未完成的考试 6.默认考期日历不支持修改和删除操作 |
1.可以按照时间线顺序依次显示设定的考期日历的时间、科目和内容 2.点击页面下方加号，输入课程和说明内容，选择时间，点击提交后成功添加考期日历，未输入三者中的某项内容时，成功显示红字提醒，再次添加考期日历时，无上次添加时的内容及报错信息 3.点击考期日历卡片左下角，输入修改的标题或内容或时间，点击提交后成功修改，并在页面中显示修改后的考期日历 4.点击考期日历卡片右下角，弹出删除选项，点击删除后，成功删除自定义考期日历 5.无法删除或修改默认考期日历 6.考期日历设置的时间早于当前时间的考期日历左上角显示对勾，表示当前考试已结束，晚于当前时间的考期日历左上角显示三角，表示正在备考 |
| 知识卡片 | 1.显示默认知识卡片和用户自定义卡片 2.默认知识卡片不支持修改、删除和切换背景颜色 3.添加知识卡片 4.删除知识卡片 5.修改知识卡片标题和内容 6.支持左右滑动查看知识卡片 7.根据关键词搜索知识卡片 8.切换知识卡片背景颜色 |
1.正确显示所有默认知识卡片和用户自定义卡片 2.无法对默认知识卡片进行修改内容、删除和切换颜色等操作，并收到相应提示 3.点击页面下方加号，输入标题和内容后可以新建知识卡片，且未输入两者中的某项内容时，会有红字输入提醒，再次新建知识卡片时，不存在上次添加知识卡片的标题、内容和报错信息 4.点击右上方，可以删除用户自定义卡片 5.点击左下方，输入修改的标题或内容，点击提交后，知识卡片内容成功修改，且显示修改后的内容 6.点击右下方，选择切换的颜色，点击切换后，知识卡片正确切换背景颜色 7.可以左右滑动查看知识卡片 8.在搜索框内输入关键词后，正确显示搜索结果 |
| 问答社区 | 1.帖子按照自身状态正常显示在四种类型(Open、Closed、All和Mine)下 2.发布帖子 3.修改帖子内容 4.删除帖子 5.标注帖子正确回复 6.对帖子进行评论 7.对帖子评论进行点赞 8.修改帖子评论 9.删除帖子评论 10.置顶帖子 11.关闭帖子 |
1. 不同区域内正确显示不同状态下的帖子 2.点击页面下方加号，输入帖子标题、类型和内容，点击提交，成功发布帖子 3.点击帖子右上角，选择编辑，对帖子进行修改，且仅有发帖人有权限更改自己帖子的内容 4.点击帖子右上角，选择删除，对帖子进行删除，且仅有发帖人和管理员有权删除帖子 5.点击Close按钮，关闭当且帖子，帖子状态切换为Close，且仅有发帖人和管理员有权关闭帖子 6.点击回答按钮，输入评论内容，帖子下方会显示评论内容 7.点击帖子评论右侧的点赞按钮，对帖子回复进行点赞 8.点击帖子评论右侧选项按钮，选择删除，可以删除帖子评论，且仅有评论者和管理员可以删除帖子评论 9.点击帖子评论右侧选项按钮，选择编辑，可以修改帖子评论，且仅有评论者可以编辑帖子评论 10.点击帖子评论右侧选项按钮，选择标注为正确答案，可以将帖子评论标注为正确答案，且仅有发帖人可以将评论标注为正确答案 11.管理员实现对帖子的置顶功能，且正确显示在置顶区域 |
| 资源社区 | 1.上传资源 2.根据关键词搜索资源 3.快捷复制资源链接 4.删除资源 |
1. 点击页面下方加号按钮，输入标题、描述和链接，点击提交，提示请求添加成功，等待管理员审核 2.资源社区仅显示已审核通过的资源 3.在搜索框内输入关键词，对资源进行搜索 4.点击资源右下角选项按钮，点击删除，完成对资源的删除 5.点击资源左下角剪切按钮，快捷复制链接 |
| 错题收藏页面 | 1.按章节显示当前用户收藏的题目和错题 2.显示用户收藏题目数和错题数 3.支持用户点击收藏的题目或错题，直接进行刷题 |
1.可以正常切换收藏题目列表和错题列表 2.可以正常显示收藏题目数和错题数 3.可以按章节显示收藏题目和错题 4.点击某一章节后，可以点击开始按钮，对该章节下的收藏的题目或错题进行刷题 |
| 举报功能 | 1.支持题目评论、题目评论回复、帖子和帖子回复的举报 | 1. 点击题目评论、题目评论回复、帖子和帖子回复的选项按钮，点击举报，输入举报内容，完成举报 |
| 消息通知 | 1.显示用户消息和官方消息 2.区分已读和未读消息 3.支持开启和关闭消息通知 4.删除消息通知 5.消息通知已读未读状态切换 6.用户消息通知快捷跳转 7.我的icon和消息通知显示未读消息数量 |
1. 正确显示用户消息和官方消息 2.向左滑动消息，可以对消息已读和未读进行切换，可以删除消息 3.已读和未读消息显示位置正确 4.关闭消息通知后，新的消息通知不会在我的界面进行提醒 5.点击用户消息，可以快速定位题目评论回复或帖子位置 6.我的icon和消息通知正确显示未读消息数量 7.用户举报属实与否均收到举报反馈信息 8.已读消息后，未读消息数量做出相应改变 |
| 模拟考试统一判题模式 | 1.完成模拟考试所有题目后，获得模拟考试分数 | 1. 模拟考试选择统一判题模式后，完成题目后不会立刻反馈，等到点击交卷后，才会统一反馈所有题目判定结果及对应分数 |
3.压力测试
针对压力测试，我们在远端新建了测试数据库，防止对平台正在使用数据库的数据产生影响。
我们主要对以下beta版本开发阶段新出现的接口进行了压力测试：
| 接口 | 请求量 | 并发用户数 | 请求完成时间(s) | 最快完成时间(s) | 最慢完成时间(s) | 请求成功数 | 请求失败数 | 吞吐量 (req/s) | 响应数据大小(bytes) |
|---|---|---|---|---|---|---|---|---|---|
| 查看是否举报过 | 2000 | 100 | 6.883397 | 0.133065 | 0.420548 | 2000 | 0 | 290.554197 | 106000 |
| 举报 | 2000 | 100 | 6.623506 | 0.220670 | 0.408961 | 2000 | 0 | 301.954887 | 178000 |
| 获取未读消息 | 2000 | 100 | 15.298427 | 0.657688 | 0.899745 | 2000 | 0 | 130.732393 | 86000 |
| 获取所有个人消息 | 2000 | 100 | 6.771777 | 0.229349 | 0.469019 | 2000 | 0 | 295.343437 | 1190000 |
| 设置个人相关消息状态 | 2000 | 100 | 6.482904 | 0.142826 | 0.564842 | 2000 | 0 | 308.503718 | 72000 |
| 获取官方消息 | 2000 | 100 | 7.165152 | 0.251051 | 0.478675 | 2000 | 0 | 279.128748 | 1010000 |
| 设置官方消息读取状态 | 2000 | 100 | 7.033750 | 0.175358 | 0.438992 | 2000 | 0 | 284.343331 | 72000 |
| 设置考期消息提醒 | 2000 | 100 | 10.465874 | 0.059619 | 1.751586 | 2000 | 0 | 191.097279 | 72000 |
| 设置其他消息提醒 | 2000 | 100 | 10.237530 | 0.402040 | 0.663594 | 2000 | 0 | 195.359622 | 72000 |
| 获取考期消息提醒状态 | 2000 | 100 | 7.256293 | 0.123280 | 0.800822 | 2000 | 0 | 275.622812 | 92000 |
| 获取其他消息提醒 | 2000 | 100 | 6.665655 | 0.220393 | 0.479477 | 2000 | 0 | 300.045542 | 92000 |
| 获取资源 | 2000 | 100 | 7.466139 | 0.271143 | 0.592691 | 2000 | 0 | 267.876076 | 3516000 |
| 新增资源 | 2000 | 100 | 7.867401 | 0.203975 | 0.484943 | 2000 | 0 | 254.213567 | 72000 |
| 资源关键词搜索 | 2000 | 100 | 6.994647 | 0.125304 | 0.439045 | 2000 | 0 | 285.932929 | 102000 |
| 获取所有帖子 | 2000 | 100 | 9.906034 | 0.297034 | 0.610253 | 2000 | 0 | 201.897148 | 454000 |
| 获取帖子信息 | 2000 | 100 | 10.110720 | 0.288880 | 0.579294 | 2000 | 0 | 197.809854 | 1316000 |
| 发帖 | 2000 | 100 | 7.762409 | 0.223082 | 0.612212 | 2000 | 0 | 257.651976 | 72000 |
| 添加帖子评论 | 2000 | 100 | 18.152749 | 0.770635 | 1.069887 | 2000 | 0 | 110.176150 | 72000 |
| 编辑帖子内容 | 2000 | 100 | 9.650894 | 0.362592 | 0.559777 | 2000 | 0 | 207.234698 | 72000 |
| 编辑帖子评论 | 2000 | 100 | 12.199023 | 0.515796 | 0.764933 | 2000 | 0 | 163.947550 | 72000 |
| 帖子评论点赞 | 2000 | 100 | 12.163976 | 0.334314 | 0.946947 | 2000 | 0 | 164.419920 | 72000 |
| 标记评论正确答案 | 2000 | 100 | 6.267918 | 0.185319 | 0.371154 | 2000 | 0 | 319.085222 | 72000 |
| 帖子搜索 | 200 | 10 | 13.865565 | 0.079296 | 4.491172 | 198 | 2 | 14.279980 | 45540 |
| 帖子状态修改 | 2000 | 100 | 7.186033 | 0.174251 | 0.517316 | 2000 | 0 | 278.317673 | 72000 |
| 显示所有考期 | 2000 | 100 | 6.835467 | 0.036651 | 0.632562 | 2000 | 0 | 292.591576 | 372000 |
| 增加一个考期 | 2000 | 100 | 8.136979 | 0.041000 | 1.523241 | 2000 | 0 | 245.791477 | 72000 |
| 修改考期日历 | 2000 | 100 | 9.682214 | 0.426309 | 0.573272 | 2000 | 0 | 206.564333 | 72000 |
| 显示所有知识卡片 | 2000 | 100 | 7.553196 | 0.232288 | 0.569024 | 2000 | 0 | 264.788563 | 1102000 |
| 创建知识卡片 | 2000 | 100 | 9.465086 | 0.308817 | 1.007824 | 2000 | 0 | 211.302889 | 72000 |
| 修改知识卡片 | 2000 | 100 | 10.251560 | 0.394145 | 0.801797 | 2000 | 0 | 195.092262 | 72000 |
| 修改颜色 | 2000 | 100 | 9.511362 | 0.353843 | 0.578228 | 2000 | 0 | 210.274837 | 72000 |
主要对beta开发阶段的接口进行了测试，涉及删除相关接口并未进行测试，对于同时在线使用的用户为400人的预期，目前beta阶段的接口基本能够满足用户的基本使用需求
目前已知的问题：
- 在某个接口对应数据库存在大量数据时，查询和传送的速度会大幅下降，这个需要重新设计接口，比如限制每次返回的数据量
- 在问答社区的帖子查询api中，如果存在高并发，会影响查询速度和接口响应，会进一步进行优化
4.总结
根据小程序性能测试、前端测试和后端压力测试结果，可以认为题士已达到出口条件
