论文查重

这个作业属于哪个课程 https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/
这个作业要求在哪里 https://edu.cnblogs.com/campus/gdgy/Internationalcourseincomputationalscienceandtechnology/homework/12187
这个作业的目标 实现论文查重的算法,并学会用psp制作一个时间表格,测试用例以及进行效能分析
  1. Github仓库
    存放文件夹地址:https://github.com/3119009475/3119009475-
  2. PSP表格
PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟)
Planning 计划 10 5
· Estimate · 估计这个任务需要多少时间 10 20
Development 开发 300 350
· Analysis · 需求分析 (包括学习新技术) 60 100
· Design Spec · 生成设计文档 40 60
· Design Review · 设计复审 20 30
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 20 20
· Design · 具体设计 30 40
· Coding · 具体编码 180 210
· Code Review · 代码复审 30 20
· Test · 测试(自我测试,修改代码,提交修改) 20 30
Reporting 报告 60 80
· Test Report · 测试报告 40 40
· Size Measurement · 计算工作量 10 10
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 20 10
Total · 合计 850 1025

3.算法分析
使用余弦相似度算法,将文本中的文字转变成空间向量,计算两个文本转变后的空间向量的夹角,因此得出两个文本的相似度的大小。
计算余弦的相似度:

同时每篇文章都会有许多词是重复使用的常用词,为了不影响判断,我们需要消除一定的重复词的影响:

4.相关的requirements截图

5.效能分析
5.1.模块审计:

5.2.模块占用时间以及性能:

6.异常分析
6.1.我的stopwords不管是否放在指定文件夹,程序都可以正常运行,并且查重结果并不会发生任何改变,由此我做出一个推测,也许是我的stopwords并没有发挥作用或者是我设置的stopwords词数太少并没有识别出来。在我的上述尝试中,我试图将我的stopwords放在E盘的PyCharm和E盘的PyCharm中的test中,结果没有变化。

6.2.文件路径出错,当复制了正确的文件路径后问题得到了解决。

7.测试用例
7.1.orig与orig_0.8_add文本相似度为:83.50000000000006%

7.2.orig与orig_0.8_del文本相似度为文本相似度为:73.00000000000004%

7.3.orig与orig_0.8_dis_1文本相似度为:88.50000000000006%

7.4.orig与orig_0.8_dis_10文本相似度为:75.00000000000004%

7.5.orig与orig_0.8_dis_15文本相似度为:63.00000000000002%

posted @ 2021-09-21 00:10  柠檬煎锅  阅读(31)  评论(0编辑  收藏  举报