第一次个人编程作业

这个作业属于哪个课程	班级的的链接
这个作业要求在哪里	作业要求的链接
这个作业的目标	设计一个论文查重算法

项目需求

题目：论文查重

描述如下：

设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。

原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：

从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。

注意：答案文件中输出的答案为浮点型，精确到小数点后两位

github链接

PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	10
· Estimate	· 估计这个任务需要多少时间	10
Development	开发	100
· Analysis	· 需求分析 (包括学习新技术)	200
· Design Spec	· 生成设计文档	20
· Design Review	· 设计复审	20
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	20
· Design	· 具体设计	100
· Coding	· 具体编码	100
· Code Review	· 代码复审	100
· Test	· 测试（自我测试，修改代码，提交修改）	100
Reporting	报告	100
· Test Repor	· 测试报告	100
· Size Measurement	· 计算工作量	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	10
	· 合计	1000

计算模块接口的设计与实现过程

算法分析

1.simHash算法原理

分词：现在有很多可供使用的包来进行文本的分词，本篇所使用的分词器是IKAnalysis，需要安装 IKAnalyzer2012_u6.jar包

hash：通过hash函数计算各个特征向量（这里为划分好的词）的hash值，hash值为二进制数01组成的n-bit签名。

加权：权重：就是词频；把第2步生成的hash值从左至右与权重进行运算；如果该bit的数值为1，则将权重赋给该位；如果该bit的数值为0，则将权重的负值赋给该位。example：“我”，hash = 101011，weight(词频) = 5；则加权后的结果为：5 -5 5 -5 5 5；

合并：经过上述的三个步骤，我们可以得到全部词(word)的加权hash值，此时需要将全部的加权后的hash值进行累加;

降维：将第四步计算出来的序列串变为01串；具体规则：如果该位的数值>0，则置为1；反之则置为0.

海明距离(Hamming Distance)：在信息编码中，两个合法代码对应位上编码不同的位数称为码距，又称海明距离；

2.余弦定理查找相似度

（1）找出两篇文章的关键词；

（2）每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频

（3）生成两篇文章各自的词频向量；

（4）计算两个向量的余弦相似度，值越大就表示越相似。

参考

写不来一点

计算模块接口部分的性能改进（性能分析图）

计算模块部分单元测试展示

计算模块部分异常处理说明