第一次个人作业
第一次个人作业
| 这个作业属于哪个课程 | 信安1912-软件工程 (广东工业大学 - 计算机学院) |
|---|---|
| 这个作业要求在哪里 | 个人项目作业 |
| 这个作业的目标1 | <设计一个论文查重算法> |
| 这个作业的目标2 | <使用PSP表格进行记录> |
| 这个作业的目标3 | <熟练使用GitHub> |
1. 作业github链接
2. PSP 表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（分钟） | 实际耗时（分钟） |
|---|---|---|---|
| Planning | 计划 | 30 | 30 |
| · Estimate | · 估计这个任务需要多少时间 | 5 | 5 |
| Development | 开发 | 150 | 90 |
| · Analysis | · 需求分析 (包括学习新技术) | 200 | 240 |
| · Design Spec | · 生成设计文档 | 20 | 10 |
| · Design Review | · 设计复审 | 10 | 10 |
| · Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 5 |
| · Design | · 具体设计 | 30 | 20 |
| · Coding | · 具体编码 | 120 | 240 |
| · Code Review | · 代码复审 | 20 | 10 |
| · Test | · 测试（自我测试，修改代码，提交修改） | 40 | 80 |
| Reporting | 报告 | 60 | 70 |
| · Test Repor | · 测试报告 | 20 | 20 |
| · Size Measurement | · 计算工作量 | 5 | 5 |
| · Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | 10 |
| · | · 合计 | 725 | 845 |
3. 模块接口的设计以及实现过程
3.1 主要实现类
- 主类： main方法，主要作用是接收命令行的参数，以及调用工具类执行程序
- 工具类：计算simHash值的工具类，包括计算海明距离的函数
- 单元测试：test方法，测试主类以及工具类是否可以正常使用
项目结构：
项目流程以及函数间的关系：
3.2 关键函数的分析与实现
实现函数的需求分析以及解释：
- 分词：给定一段语句，进行分词，得到有效的特征向量，然后为每一个特征向量设置1-5等5个级别的权重。 例如：“今天天气晴朗，我心情随着好了起来”分词后为“今天/天气/晴朗/，/我/心情/随着/好了起来”,然后为每个特征向量赋予权值,代表这个单词在整条语句中的重要程度，数字越大代表越重要。
- 计算hash：通过hash函数计算各个特征向量的hash值，hash值为二进制数01组成的n-bit签名。
- 加权：在hash值的基础上，给所有特征向量进行加权，即W = Hash weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘。
- 合并：将上述各个特征向量的加权结果累加，变成只有一个序列串。
- 降维：对于n-bit签名的累加结果，如果大于0则置1，否则置0，从而得到该语句的simhash值，最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。从而形成它们的simhash签名。
算法流程：
4. 计算模块接口部分性能分析
利用pycharm的插件可以得到耗费时间的几个主要函数排名：
由于simHash已经是非常强大的查重算法工具了，所以没有找到优化速度的比较好的方法，故在代码结果方面做了比较大的改进，进一步优化代码结构。
5. 计算模块部分单元测试展示
5.1 代码展示
使用python3自带的unitTest单元测试工具对主函数进行相关样例测试，并模拟了异常处理场景
5.2 测试结果
5.3 写入文件展示
5.4 代码覆盖率
由于单元测试不需要输入，所以主函数的代码覆盖率略低
6. 计算模块部分异常处理说明
6.1 代码展示
如果找不到文件路径，就打印相关错误并结束程序
6.2 测试结果：
抄袭文件输入路径错误：
源文件输入路径错误：
