第一次个人编程作业

作业概述

这个作业属于哪个课程班级链接
这个作业要求在哪里 作业链接
这个作业的目标 通过个人变成能力来实现论文查重，学习使用PSP表格以及git提交规范

一、个人github仓库 :

 https://github.com/ljhhh123/RJGCSecond

二、PSP表格

PSP2.1Personal Software Process Stages预估耗时（分钟）实际耗时（分钟）
Planning 计划 25 35
· Estimate · 估计这个任务需要多少时间 100 100
Development 开发 250 350
· Analysis · 需求分析 (包括学习新技术) 300 350
· Design Spec · 生成设计文档 15 20
· Design Review · 设计复审 25 30
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 25 25
· Design · 具体设计 20 25
· Coding · 具体编码 100 200
· Code Review · 代码复审 30 30
· Test · 测试（自我测试，修改代码，提交修改） 60 60
Reporting 报告 30 60
· Test Repor · 测试报告 30 50
· Size Measurement · 计算工作量 30 50
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 30 40
  · 合计 1300   1425

三、需求分析

题目：论文查重

描述如下：
设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。

原文实例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：

从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。
注意：答案文件中输出的答案为浮点型，精确到小数点后两位。

四、计算模块接口的设计与实现过程

1.接口设计

  • 查询相关资料，发现检测文本相似度的有几种方法，选择使用余弦相似度，可以使用词向量（如Word2Vec、GloVe）或TF-IDF（Term Frequency-Inverse Document Frequency）来构建文本向量，然后计算向量之间的余弦相似度。余弦相似度是一种用于衡量两个向量之间夹角的余弦值，其值范围在[-1, 1]之间。余弦相似度越接近1，表示两个向量越相似；越接近-1，表示两个向量越不相似。

  • 代码一共有四个函数，分别是，read_text_file函数，读取文本文件，main函数，执行主要逻辑，calculate_cosine_similarity函数用于计算余弦相似度，text_to_vector函数用于将文本转换为词频向量。它的作用是统计文本中每个词语出现的频次，将这些词语及其频次构成一个词频向量。


2.关键函数流程图

image

3.算法的公式

引用糊涂工具包的TokenizerEngine，通过hankc作分词处理，遍历词，构建词频树，最后计算查重率：cos值。

查重率cos值具体计算公式如下

 

五、计算模块接口部分的性能改进

1.改进计算模块性能的耗时记录

40mins

2.描述改进思路

通过各种工具或手段，初步定位性能瓶颈点，通过各种工具或手段，初步定位性能瓶颈点，具体性能优化为getSimHash函数。

3.性能分析

3.1性能分析图

image

3.2方法调用情况

4.耗时最大的函数展示

六、计算模块部分单元测试展示

1.测试函数的说明

FileUtil类
readFile()和writeFile()分别用于文件的读取和写入

SimHashUtil类
用于分词与监测相似度

2.测试数据的思路构建

功能测试的测试思路：测试每个部分的功能是否能达到预期结果

3.测试自动化

进入代码运行直接出结果在ansAll.txt中

七、计算模块部分异常处理说明

1. 异常设计目标的介绍

为防止文本长度不满足要求而设置的规范长度异常,当读取的文本内容少于300字符时将抛出。

八、查重的结果