第一次个人编程作业
作业要求
| 这个作业属于哪个课程 | 工程概论 |
|---|---|
| 这个作业的要求在哪 | 个人项目 |
| 这个作业的目标 | 熟悉github项目管理 |
源地址github
需求分析
题目:论文查重
描述如下:
设计一个论文查重算法,给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件,在答案文件中输出其重复率。
原文示例:今天是星期天,天气晴,今天晚上我要去看电影。
抄袭版示例:今天是周天,天气晴朗,我晚上要去看电影。
要求输入输出采用文件输入输出,规范如下:
从命令行参数给出:论文原文的文件的绝对路径。
从命令行参数给出:抄袭版论文的文件的绝对路径。
从命令行参数给出:输出的答案文件的绝对路径。
我们提供一份样例,课堂上下发,上传到班级群,使用方法是:orig.txt是原文,其他orig_add.txt等均为抄袭版论文。
注意:答案文件中输出的答案为浮点型,精确到小数点后两位。
算法设计
使用了simhash来计算文本相似度。simhash的主要思想是将高维的特征向量(文本可转换为高维向量表示)映射成低维的特征向量,通过计算两个向量的汉明距离(Hamming Distance)来确定文本的相似度。
其中,汉明距离,表示在两个等长字符串中对应位置不同字符的个数。而字符串的编辑距离则是汉明距离的扩展。
代码主要通过调用python自带的simhash包将文本转换成二进制字符串,然后比较两个不同的文本计算汉明距离,最后通过公式(1 - 汉明距离 / 最长关键词数组长度)来计算相似度。
运行测试
文本


计算结果

PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
|---|---|---|---|
| Planning | 计划 | 30 | 40 |
| Estimate | 估计这个任务需要多少时间 | 5 | 5 |
| Development | 开发 | 300 | 200 |
| Analysis | 需求分析 (包括学习新技术) | 30 | 40 |
| Design Spec | 生成设计文档 | 20 | 15 |
| Design Review | 设计复审 | 10 | 5 |
| Coding Standard | 代码规范 (为目前的开发制定合适的规范) | 10 | 20 |
| Design | 具体设计 | 30 | 30 |
| Coding | 具体编码 | 30 | 30 |
| Code Review | 代码复审 | 30 | 15 |
| Test | 测试(自我测试,修改代码,提交修改) | 15 | 20 |
| Reporting | 报告 | 20 | 20 |
| Test Repor | 测试报告 | 20 | 20 |
| Size Measurement | 计算工作量 | 20 | 20 |
| Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 20 | |
| 10 | 合计 |

浙公网安备 33010602011771号