论文查重
| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/ |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/homework/12187 |
| 这个作业的目标 | 实现论文查重的算法,并学会用psp制作一个时间表格,测试用例以及进行效能分析 |
- Github仓库
存放文件夹地址:https://github.com/3119009475/3119009475- - PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
|---|---|---|---|
| Planning | 计划 | 10 | 5 |
| · Estimate | · 估计这个任务需要多少时间 | 10 | 20 |
| Development | 开发 | 300 | 350 |
| · Analysis | · 需求分析 (包括学习新技术) | 60 | 100 |
| · Design Spec | · 生成设计文档 | 40 | 60 |
| · Design Review | · 设计复审 | 20 | 30 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 20 | 20 |
| · Design | · 具体设计 | 30 | 40 |
| · Coding | · 具体编码 | 180 | 210 |
| · Code Review | · 代码复审 | 30 | 20 |
| · Test | · 测试(自我测试,修改代码,提交修改) | 20 | 30 |
| Reporting | 报告 | 60 | 80 |
| · Test Report | · 测试报告 | 40 | 40 |
| · Size Measurement | · 计算工作量 | 10 | 10 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 20 | 10 |
| Total | · 合计 | 850 | 1025 |
3.算法分析
使用余弦相似度算法,将文本中的文字转变成空间向量,计算两个文本转变后的空间向量的夹角,因此得出两个文本的相似度的大小。
计算余弦的相似度:


同时每篇文章都会有许多词是重复使用的常用词,为了不影响判断,我们需要消除一定的重复词的影响:

4.相关的requirements截图

5.效能分析
5.1.模块审计:

5.2.模块占用时间以及性能:

6.异常分析
6.1.我的stopwords不管是否放在指定文件夹,程序都可以正常运行,并且查重结果并不会发生任何改变,由此我做出一个推测,也许是我的stopwords并没有发挥作用或者是我设置的stopwords词数太少并没有识别出来。在我的上述尝试中,我试图将我的stopwords放在E盘的PyCharm和E盘的PyCharm中的test中,结果没有变化。

6.2.文件路径出错,当复制了正确的文件路径后问题得到了解决。

7.测试用例
7.1.orig与orig_0.8_add文本相似度为:83.50000000000006%

7.2.orig与orig_0.8_del文本相似度为文本相似度为:73.00000000000004%

7.3.orig与orig_0.8_dis_1文本相似度为:88.50000000000006%

7.4.orig与orig_0.8_dis_10文本相似度为:75.00000000000004%

7.5.orig与orig_0.8_dis_15文本相似度为:63.00000000000002%


浙公网安备 33010602011771号