个人项目：论文查重

|作业所属课程|https://edu.cnblogs.com/campus/gdgy/Networkengineering1834|
|---|---|---|
|作业要求|https://edu.cnblogs.com/campus/gdgy/Networkengineering1834/homework/11146|
|作业目标|写一个论文查重程序，|

一、github仓库

https://github.com/dddink/3118005283

二、PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	25	20
Estimate	估计这个任务需要多少时间	5	5
Development	开发	100	150
Analysis	需求分析 (包括学习新技术)	50	60
Design Spec	生成设计文档	15	20
Design Review	设计复审	10	20
Coding Standard	代码规范 (为目前的开发制定合适的规范)	10	10
Design	具体设计	40	30
Coding	具体编码	200	200
Code Review	代码复审	30	20
Test	测试（自我测试，修改代码，提交修改）	20	35
Reporting	报告	60	60
Test Repor	测试报告	15	15
Size Measurement	计算工作量	5	5
Postmortem & Process Improvement Plan	事后总结, 并提出过程改进计划	20	30
	合计	605	680

三、计算模块接口的设计与实现过程

类图结构如下：

采用SimHash算法

• SimHash算法主要的工作就是将文本进行降维，生成一个SimHash值，也就是论文中所提及的“指纹”，通过对不同文本的SimHash值进而比较海明距离，从而判断两个文本的相似度。
• SimHash算法主要有五个过程：分词、Hash、加权、合并、降维。
• Simhash可以计算文本间的相似度，我们可以通过simhash算法计算出文档的simhash值，通过比较各个文本的simhash值之间的汉明距离的大小来判断其相似度，汉明距离越小，则相似度越大。一般大文本去重，大小<=3的即可判断为重复。

四、计算模块接口部分的性能改进

• 下面是用JProfile测试得到的结果图。
• 性能测试

• 内存消耗

五、测试相关

• 测试orig.txt和orig_0.8_add.txt的相似度

• 测试orig.txt和orig_0.8_del.txt的相似度

• 测试orig.txt和orig_0.8_dis_10.txt的相似度