论文查重
| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/ |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/homework/12187 |
| 这个作业的目标 | 实现论文查重的算法，并学会用psp制作一个时间表格，测试用例以及进行效能分析 |
- Github仓库
存放文件夹地址：https://github.com/3119009475/3119009475- - PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 10 | 5 |
| · Estimate | · 估计这个任务需要多少时间 | 10 | 20 |
| Development | 开发 | 300 | 350 |
| · Analysis | · 需求分析 (包括学习新技术) | 60 | 100 |
| · Design Spec | · 生成设计文档 | 40 | 60 |
| · Design Review | · 设计复审 | 20 | 30 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 20 | 20 |
| · Design | · 具体设计 | 30 | 40 |
| · Coding | · 具体编码 | 180 | 210 |
| · Code Review | · 代码复审 | 30 | 20 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 20 | 30 |
| Reporting | 报告 | 60 | 80 |
| · Test Report | · 测试报告 | 40 | 40 |
| · Size Measurement | · 计算工作量 | 10 | 10 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 20 | 10 |
| Total | · 合计 | 850 | 1025 |
3.算法分析
使用余弦相似度算法，将文本中的文字转变成空间向量，计算两个文本转变后的空间向量的夹角，因此得出两个文本的相似度的大小。
计算余弦的相似度：
同时每篇文章都会有许多词是重复使用的常用词，为了不影响判断，我们需要消除一定的重复词的影响：
4.相关的requirements截图
5.效能分析
5.1.模块审计：
5.2.模块占用时间以及性能：
6.异常分析
6.1.我的stopwords不管是否放在指定文件夹，程序都可以正常运行，并且查重结果并不会发生任何改变，由此我做出一个推测，也许是我的stopwords并没有发挥作用或者是我设置的stopwords词数太少并没有识别出来。在我的上述尝试中，我试图将我的stopwords放在E盘的PyCharm和E盘的PyCharm中的test中，结果没有变化。
6.2.文件路径出错，当复制了正确的文件路径后问题得到了解决。
7.测试用例
7.1.orig与orig_0.8_add文本相似度为:83.50000000000006%
7.2.orig与orig_0.8_del文本相似度为文本相似度为:73.00000000000004%
7.3.orig与orig_0.8_dis_1文本相似度为:88.50000000000006%
7.4.orig与orig_0.8_dis_10文本相似度为:75.00000000000004%
7.5.orig与orig_0.8_dis_15文本相似度为:63.00000000000002%
