个人项目

 

软件工程	网工19-3/4
作业要求	链接

作业目标：设计一个论文查重算法并上传GitHub

GitHub链接

 PSF表格：

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	40	60
· Estimate	· 估计这个任务需要多少时间	60	90
Development	开发	1200	1320
· Analysis	· 需求分析 (包括学习新技术)	150	180
· Design Spec	· 生成设计文档	40	50
· Design Review	· 设计复审	35	40
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	25	25
· Design	· 具体设计	100	120
· Coding	· 具体编码	360	400
· Code Review	· 代码复审	80	60
· Test	· 测试（自我测试，修改代码，提交修改）	180	300
Reporting	报告	180	240
· Test Repor	· 测试报告	50	100
· Size Measurement	· 计算工作量	60	60
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	60	80
	· 合计	2620	3125

 根据题目，整个过程如下

  

所包含类

 MainPaperCheck：main 方法所在的类、

HammingUtils：计算海明距离的类、

SimHashUtils：计算 SimHash 值的类、

TxtIOUtils：读写 txt 文件的工具类、

接口的设计和实现
读写 txt 文件的模块
（类：TxtIOUtils）

两个静态方法：

readTxt：读取txt文件

writeTxt：写入txt文件

SimHash 模块
（类：SimHashUtils）

包含了两个静态方法：

1、getHash：传入String，计算出它的hash值，并以字符串形式输出

2、getSimHash：传入String，计算出它的simHash值，并以字符串形式输出
getSimHash 核心算法流程：

分词

List<String> keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

获取 hash 值

String keywordHash = getHash(keyword);
if (keywordHash.length() < 128) {
int dif = 128 - keywordHash.length();
for (int j = 0; j < dif; j++) {
keywordHash += "0";}
}
加权、合并

for (int j = 0; j < v.length; j++) {
if (keywordHash.charAt(j) == '1') {
v[j] += (10 - (i / (size / 10)));
} else {
v[j] -= (10 - (i / (size / 10)));}
}
降维

String simHash = "";// 储存返回的simHash值
for (int j = 0; j < v.length; j++) {
if (v[j] <= 0) {
simHash += "0";
} else {
simHash += "1";}
}

海明距离模块
（类：HammingUtils）
包含了两个静态方法：

1、getHammingDistance：输入两个 simHash 值，计算出它们的海明距离 distance

for (int i = 0; i < simHash1.length(); i++) {
if (simHash1.charAt(i) != simHash2.charAt(i)) {
distance++;}
}
2、getSimilarity：输入两个 simHash 值，调用 getHammingDistance 方法得出海明距离 distance，在由 distance 计算出相似度。

return 0.01 * (100 - distance * 100 / 128);

性能分析

 

方法调用频率

 

部分测试结果

public class TxtIOUtilsTest {
@Test
public void readTxtTest() {
String str = TxtIOUtils.readTxt("D:/test/orig.txt");
String[] strings = str.split(" ");
for (String string : strings) {
System.out.println(string);}
}
@Test
public void writeTxtTest() {
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "D:/test/ans.txt");}
}
@Test
public void readTxtFailTest() {
String str = TxtIOUtils.readTxt("D:/test/none.txt");
}
@Test
public void writeTxtFailTest() {
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "User:/test/ans.txt");
}}
}

 

代码覆盖率：

 

public class MainTest {
@Test
public void origAndAllTest(){
String[] str = new String[6];
str[0] = TxtIOUtils.readTxt("D:/idea/a/orig.txt");
str[1] = TxtIOUtils.readTxt("D:/idea/a/orig_0.8_add.txt");
str[2] = TxtIOUtils.readTxt("D:/idea/a/orig_0.8_del.txt");
str[3] = TxtIOUtils.readTxt("D:/idea/a/orig_0.8_dis_1.txt");
str[4] = TxtIOUtils.readTxt("D:/idea/a/orig_0.8_dis_10.txt");
str[5] = TxtIOUtils.readTxt("D:/idea/a/orig_0.8_dis_15.txt");
String ansFileName = "D:/idea/aaa/ansall.txt";
for(int i = 0; i <= 5; i++){
double ans = HammingUtils.getSimilarity(SimHashUtils.getSimHash(str[0]), SimHashUtils.getSimHash(str[i]));
TxtIOUtils.writeTxt(ans, ansFileName);
}}
}