工程概论作业2-论文查重

工程概论作业2-论文查重

这个作业属于哪个课程	<工程概论>
这个作业要求在哪里	<作业要求>
这个作业的目标	<论文查重>

github

一.需求

题目：论文查重

描述如下：

设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。

原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：

从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。

注意：答案文件中输出的答案为浮点型，精确到小数点后两位

二.思路

设计一个论文查重算法可以采用基于字符串相似度的方法。
读取原文和抄袭版论文的文件内容，并将它们存储在两个字符串变量中。
对两个字符串进行预处理，包括去除标点符号、空格和换行符等，以便于后续比较。
利用字符串相似度算法（如编辑距离、余弦相似度、Jaccard相似度等）计算两个字符串的相似度。
将相似度结果乘以100，并保留两位小数，得到重复率。
将重复率写入输出的答案文件中。

I/O方法
bool Loaded_context(string Path, string& context); 加载文本数据 src1.txt 、 src2.txt
bool Output_result(string Path,double res); 输出相似度结果以及关键词列表
3.1 SimHash类
bool extract(const string& text, vector<pair<string,double> > & res, size_t topN) ; 分词后去除停用词，得到关键词列表并计算权重，保留前N名
bool make(const string& text, size_t topN, uint64_t& v64) ; 根据前topN个权重计算降维后的Simhash值
unsigned hamdist(string str1, string str2) 计算海明距离，并返回距离
static long int isEqual(uint64_t lhs, uint64_t rhs, unsigned short n = 3); 改写第三方库中的海明距离函数，返回距离
bool cal_HamSim(double & res, int dis); 基于海明距离的相似度计算

三.PSP

Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟
计划	30	60
估计这个任务需要多少时间	180	300
开发	200	300
需求分析 (包括学习新技术)	120	120
生成设计文档	60	60
设计复审	10	10
代码规范 (为目前的开发制定合适的规范)	20	20
具体设计	20	30
具体编码	200	200
代码复审	10	20
测试（自我测试，修改代码，提交修改）	60	60
报告	20	20
测试报告	20	20
计算工作量	10	20
事后总结, 并提出过程改进计划	60	60
合计	1020	1160