软件工程第二次作业

文章目录
作业信息
个人仓库
1.计算模块接口的设计与实现过程类
函数调用流程
核心算法：simhash+海明距离
2.接口设计与实现
读写txt文件的模块
SimHash模块
海明距离模块
main模块
3.接口部分性能改进
性能分析
4.测试模块
读写txt文件模块
SimHash模块
海明距离模块
MainTest 模块
PSP表格
作业信息
作业属于哪个课程 课程链接
这个作业要求在哪里 作业要求
这个作业的目标 个人编程、单元测试、性能分析、测试覆盖率、PSP表格
其他参考文献 SimHash的原理与实现
个人仓库

link

1.计算模块接口的设计与实现过程
类
PaperCheckMain：main 方法所在的类
HammingUtils：计算海明距离的类
SimHashUtils：计算 SimHash 值的类
TxtIOUtils：读写 txt 文件的工具类
ShortStringException：处理文本内容过短的异常类
函数调用流程

核心算法：simhash+海明距离
simHash算法原理
分词：根据文本分词形成这个文章的特征单词，剔除噪声词并给每个词加上权重

hash：通过hash函数计算各个特征向量（这里为划分好的词）的hash值。

加权：权重：就是词频；把第2步生成的hash值从左至右与权重进行运算；通过 2步骤的hash生成结果，需要按照单词的权重形成加权数字串。

合并：经过上述的三个步骤，我们可以得到全部词(word)的加权hash值，此时需要将全部的加权后的hash值进行累加;

降维：将第四步计算出来的序列串变为01串；

海明距离(Hamming Distance)：在信息编码中，两个合法代码对应位上编码不同的位数称为码距，又称海明距离；

参考文章：SimHash算法原理与实现

2.接口设计与实现
读写txt文件的模块
类：TxtIOUtils

包含了两个静态方法：

1、readTxt：读取txt文件

2、writeTxt：写入txt文件

SimHash模块
类：SimHashUtils

包含两个静态方法：

1、getHash：传入String，计算出它的hash值，并以字符串形式输出，（使用了MD5获得hash值）

2、getSimHash：传入String，计算出它的simHash值，并以字符串形式输出，（需要调用 getHash 方法）

getSimHash 是核心算法，主要流程如下：

1、分词（使用了外部依赖 hankcs 包提供的接口）

List keywordList = HanLP.extractKeyword(str, str.length());//取出所有关键词

1
2
2、获取hash值

String keywordHash = getHash(keyword);
if (keywordHash.length() < 128) {
// hash值可能少于128位，在低位以0补齐
int dif = 128 - keywordHash.length();
for (int j = 0; j < dif; j++) {
keywordHash += "0";
}
}

1
2
3
4
5
6
7
8
9
3、加权、合并

for (int j = 0; j < v.length; j++) {
// 对keywordHash的每一位与'1'进行比较
if (keywordHash.charAt(j) == '1') {
//权重分10级，由词频从高到低，取权重10~0
v[j] += (10 - (i / (size / 10)));
} else {
v[j] -= (10 - (i / (size / 10)));
}
}

1
2
3
4
5
6
7
8
9
10
4、降维

String simHash = "";// 储存返回的simHash值
for (int j = 0; j < v.length; j++) {
// 从高位遍历到低位
if (v[j] <= 0) {
simHash += "0";
} else {
simHash += "1";
}
}

1
2
3
4
5
6
7
8
9
10
海明距离模块
类：HammingUtils
包含两个静态方法：

1、getHammingDistance：输入两个 simHash 值，计算出它们的海明距离 distance。

for (int i = 0; i < simHash1.length(); i++) {
// 每一位进行比较
if (simHash1.charAt(i) != simHash2.charAt(i)) {
distance++;
}
}

1
2
3
4
5
6
7
2、getSimilarity：输入两个 simHash 值，调用 getHammingDistance 方法得出海明距离 distance，在由 distance 计算出相似度。

return 0.01 * (100 - distance * 100 / 128);

1
2
main模块
main 方法的主要流程：
从命令行输入的路径名读取对应的文件，将文件的内容转化为对应的字符串
根据字符串得出对应的 simHash值
由 simHash值求出相似度
把相似度写入最后的结果文件中
退出
3.接口部分性能改进
性能分析
Overview

方法调用

4.测试模块
读写txt文件模块
1、测试正常读取

2、测试正常写入

3、测试错误读取

4、测试错误写入

public class TxtIOUtilsTest {
@Test
public void readTxtTest() {
// 路径存在，正常读取
String str = TxtIOUtils.readTxt("D:/test/orig.txt");
String[] strings = str.split(" ");
for (String string : strings) {
System.out.println(string);
}
}
@Test
public void writeTxtTest() {
// 路径存在，正常写入
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "D:/test/ans.txt");
}
}
@Test
public void readTxtFailTest() {
// 路径不存在，读取失败
String str = TxtIOUtils.readTxt("D:/test/none.txt");
}
@Test
public void writeTxtFailTest() {
// 路径错误，写入失败
double[] elem = {0.11, 0.22, 0.33, 0.44, 0.55};
for (int i = 0; i < elem.length; i++) {
TxtIOUtils.writeTxt(elem[i], "User:/test/ans.txt");
}
}
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
测试结果

SimHash模块
public class SimHashUtilsTest {
@Test
public void getHashTest(){
String[] strings = {"余华", "是", "一位", "真正", "的", "作家"};
for (String string : strings) {
String stringHash = SimHashUtils.getHash(string);
System.out.println(stringHash.length());
System.out.println(stringHash);
}
}
@Test
public void getSimHashTest(){
String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
System.out.println(SimHashUtils.getSimHash(str0));
System.out.println(SimHashUtils.getSimHash(str1));
}
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
测试结果

代码覆盖率

海明距离模块
public class HammingUtilsTest {
@Test
public void getHammingDistanceTest() {
String str0 = TxtIOUtils.readTxt("D:/test/orig.txt");
String str1 = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
int distance = HammingUtils.getHammingDistance(SimHashUtils.getSimHash(str0), SimHashUtils.getSimHash(str1));
System.out.println("海明距离：" + distance);
System.out.println("相似度: " + (100 - distance * 100 / 128) + "%");
}
}

1
2
3
4
5
6
7
8
9
10
11
12
测试结果

代码覆盖率

MainTest 模块
public class MainTest {
@Test
public void origAndAllTest(){
String[] str = new String[6];
str[0] = TxtIOUtils.readTxt("D:/test/orig.txt");
str[1] = TxtIOUtils.readTxt("D:/test/orig_0.8_add.txt");
str[2] = TxtIOUtils.readTxt("D:/test/orig_0.8_del.txt");
str[3] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_1.txt");
str[4] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_10.txt");
str[5] = TxtIOUtils.readTxt("D:/test/orig_0.8_dis_15.txt");
String ansFileName = "D:/test/ansAll.txt";
for(int i = 0; i <= 5; i++){
double ans = HammingUtils.getSimilarity(SimHashUtils.getSimHash(str[0]), SimHashUtils.getSimHash(str[i]));
TxtIOUtils.writeTxt(ans, ansFileName);
}
}
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
测试结果

PSP表格
PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 30 30
· Estimate 估计这个任务需要多少时间 500 650
Development 开发 350 500
· Analysis · 需求分析 (包括学习新技术) 60 80
· Design Spec 生成设计文档 25 25
Design Review 设计复审 30 40
Coding Standard 代码规范 (为目前的开发制定合适的规范) 20 20
Design 具体设计 20 30
· Coding· 具体编码 60 100
Code Review · 代码复审 60 50
Test · 测试（自我测试，修改代码，提交修改) 70 60
Reporting 报告 120 100
Test Repor · 测试报告 60 100
Size Measurement · 计算工作量 20 50
Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 30 30
合计 1455 1865