第一次个人编程作业

这个作业属于哪个课程 计科23级34班
这个作业要求在哪里 个人项目
这个作业的目标 熟悉个人项目开发流程，使用Github进行源代码管理

Github 链接：https://github.com/KaryRafael/KaryRafael/3223004469

一、PSP表格

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划
· Estimate · 估计这个任务需要多少时间 10 6
Development 开发
· Analysis · 需求分析 (包括学习新技术) 100 112
· Design Spec · 生成设计文档 50 40
· Design Review · 设计复审 30 30
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 20 20
· Design · 具体设计 100 120
· Coding · 具体编码 100 90
· Code Review · 代码复审 30 30
· Test · 测试（自我测试，修改代码，提交修改） 80 77
Reporting 报告
· Test Repor · 测试报告 40 45
· Size Measurement · 计算工作量 20 25
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 50 50
· 合计 630 645

二、模块接口的设计与实现

2.1 模块概述

  • 本模块实现了一个基于TF-IDF特征提取和余弦相似度计算的中文文本查重系统。系统采用模块化设计，包含文件读取、文本预处理、相似度计算和结果输出四个核心功能模块。通过jieba分词库处理中文文本，利用scikit-learn机器学习库实现TF-IDF向量化和余弦相似度计算，最终输出0-1范围内的相似度值，实现文本查重功能。

2.2 模块架构设计

09233

文本查重系统架构
├── 输入层
│   ├── read_file() - 文件读取模块
│   └── 异常处理机制
├── 处理层  
│   ├── preprocess_text() - 文本预处理模块
│   ├── calculate_similarity() - 核心计算模块
│   └── TF-IDF向量化 + 余弦相似度算法
└── 输出层
    └── write_result() - 结果输出模块
函数 功能简述
read_file(file_path) 读取指定路径的文本文件内容
preprocess_text(text) 使用 jieba 对中文文本进行分词预处理
calculate_similarity(original_text, copied_text) 核心函数，计算两篇文本的余弦相似度
write_result(output_path, similarity) 将计算结果写入输出文件
main() 程序入口，解析命令行参数并调用上述函数完成整个流程

2.3 核心算法设计

  • TF-IDF向量化算法
    TF-IDF算法通过词频（TF）和逆文档频率（IDF）的乘积评估词语重要性。TF反映词语在文档中的出现频率，IDF衡量词语的普遍性，常见词的IDF值较低。本系统将分词后的文本转换为TF-IDF向量，突出关键词语特征，为相似度计算提供数值化基础。
  • 余弦相似度计算算法
    余弦相似度通过计算向量夹角余弦值衡量文本相似度，公式为cos(θ) = (A·B)/(||A||×||B||)。该算法仅关注向量方向而非长度，有效消除文本长度差异的影响，特别适合处理长短不一的文本比较，计算结果范围为0-1，值越大表示相似度越高。

三、模块接口部分的性能改进

3.1 性能瓶颈识别

09231

  1. TF-IDF向量化重复计算：每次调用calculate_similarity函数都会重新初始化TfidfVectorizer，导致相同的词汇表构建和IDF计算重复执行，占用超过60%的计算时间。

  2. 分词处理效率问题：jieba分词在处理长文本时呈现非线性增长趋势，特别是对于学术论文等大规模文本，分词阶段成为明显的性能瓶颈。

  3. 文件I/O操作频繁：多次独立的文件读写操作在批量处理场景下累积耗时显著，影响整体处理效率。

  4. 内存使用不够优化：高维稀疏矩阵的存储和处理在词汇量较大时占用过多内存资源。

3.2 性能改进思路与措施

  1. 向量化器复用机制：将TfidfVectorizer实例化移至模块级别，通过全局变量或类封装实现单例模式，避免重复初始化和训练，预计可减少40%的计算时间。

  2. 分词结果缓存系统：采用LRU缓存策略对preprocess_text函数进行装饰，对相同文本内容直接返回缓存结果，减少重复分词操作。

  3. 批量处理优化：重构main函数支持批量文件处理模式，减少频繁的文件打开关闭操作，通过向量化器的一次fit_transform处理多个文档对。

  4. 稀疏矩阵优化：利用scipy.sparse矩阵特性优化存储结构，对高维特征向量采用压缩存储格式，降低内存占用。

  5. 并行计算引入：对于大规模文本对比任务，采用多进程并行处理不同文档对，充分利用多核CPU资源。

09232
由图可见，jieba 分词相关函数（如 Tokenizer.load、Tokenizer.initialize 等）是消耗最大的函数。

四、模块部分单元测试

4.1 文件读取模块测试

  • 目的：验证文件读取功能的正确性和健壮性
# 测试用例1：正常读取文件
def test_read_file_normal(self):
    """测试正常读取文件功能"""
    content = read_file(self.original_file)
    self.assertEqual(content, "今天天气很好，适合出去散步。")

# 测试用例2：读取不存在的文件
def test_read_file_not_exist(self):
    """测试读取不存在的文件"""
    content = read_file("/根本不存在的文件.txt")
    self.assertIsNone(content)

4.2 文本预处理模块测试

  • 目的：验证jieba分词的正确性和边界处理
# 测试用例3：分词功能测试
def test_preprocess_text(self):
    """测试中文分词功能"""
    result = preprocess_text("今天天气很好")
    self.assertIsInstance(result, str)
    self.assertIn("今天", result)
    self.assertIn("天气", result)

# 测试用例4：空文本分词测试
def test_preprocess_empty_text(self):
    """测试空文本分词"""
    result = preprocess_text("")
    self.assertEqual(result, "")

4.3 相似度计算模块测试

  • 目的：验证核心算法在不同场景下的准确性
# 测试用例5：相同文本相似度测试
def test_similarity_same_text(self):
    """测试完全相同文本的相似度"""
    text = "这是一段测试文本"
    similarity = calculate_similarity(text, text)
    self.assertAlmostEqual(similarity, 1.0, places=1)

# 测试用例6：完全不同文本相似度测试  
def test_similarity_different_text(self):
    """测试完全不同文本的相似度"""
    text1 = "今天天气很好"
    text2 = "明天要下雨了"
    similarity = calculate_similarity(text1, text2)
    self.assertLess(similarity, 0.5)

# 测试用例7：部分相似文本测试
def test_similarity_similar_text(self):
    """测试部分相似文本的相似度"""
    text1 = "今天天气很好，适合散步"
    text2 = "今天天气不错，适合散步"
    similarity = calculate_similarity(text1, text2)
    self.assertGreater(similarity, 0.3)
    self.assertLess(similarity, 1.0)

# 测试用例8：空文本相似度测试
def test_similarity_empty_text(self):
    """测试空文本的相似度"""
    similarity = calculate_similarity("今天天气很好", "")
    self.assertEqual(similarity, 0.0)

4.4 结果输出模块测试

  • 目的：验证文件读取功能的正确性和健壮性
# 测试用例9：写入结果文件测试
def test_write_result(self):
    """测试结果写入文件功能"""
    write_result(self.output_file, 0.75)
    self.assertTrue(os.path.exists(self.output_file))
    with open(self.output_file, 'r', encoding='utf-8') as f:
        content = f.read()
    self.assertEqual(content, "0.75")

4.5 边界值测试模块

  • 目的：验证系统在极端情况下的稳定性
# 测试用例10：边界值测试 - 很长的文本
def test_long_text(self):
    """测试长文本处理"""
    long_text = "很长的一段文本，" * 100
    similarity = calculate_similarity(long_text, long_text)
    self.assertAlmostEqual(similarity, 1.0, places=1)

# 测试用例11：边界值测试 - 很短文本
def test_short_text(self):
    """测试短文本处理"""
    similarity = calculate_similarity("好的", "好的")
    self.assertAlmostEqual(similarity, 1.0, places=1)

# 测试用例12：特殊字符测试  
def test_special_characters(self):
    """测试包含特殊字符的文本"""
    text1 = "测试文本！@#￥%……&*（）"
    text2 = "测试文本！@#￥%……&*（）"
    similarity = calculate_similarity(text1, text2)
    self.assertAlmostEqual(similarity, 1.0, places=1)

# 测试用例13：单字文本测试
def test_single_character_text(self):
    """测试单字文本的相似度"""
    similarity = calculate_similarity("好", "好")
    self.assertIsInstance(similarity, float)
    self.assertGreaterEqual(similarity, 0.0)
    self.assertLessEqual(similarity, 1.0)

测试结果
0924

五、模块部分异常处理说明

5.1 异常处理总体设计目标

在文本查重系统的计算模块中，异常处理的设计目标主要包括：

  • 系统稳定性：确保程序在异常情况下不会崩溃

  • 用户体验：提供清晰的错误信息和处理结果

  • 数据完整性：防止数据丢失或损坏

  • 算法健壮性：保证核心算法在各种边界情况下都能正常工作

5.2具体异常类型及处理

  1. 空文本异常处理
    设计目标：防止空文本导致的算法计算错误，提供合理的默认相似度值，避免程序因空值而崩溃。
def test_similarity_empty_text(self):
    """测试空文本的相似度计算"""
    # 场景：原文有内容，抄袭版为空文本
    similarity = calculate_similarity("今天天气很好", "")
    
    # 验证：空文本相似度应该返回0.0
    self.assertEqual(similarity, 0.0)
    print("空文本异常测试通过：系统正确处理了空文本情况")
  1. 单字文本异常处理
    设计目标：解决TF-IDF对单字文本处理不佳的问题，提供备选算法保证计算连续性，维持相似度计算的合理性。
def test_single_character_text(self):
    """测试单字文本的相似度计算"""
    # 场景：两个单字文本的比较
    similarity = calculate_similarity("好", "好")
    
    # 验证：系统应正常处理而不崩溃，返回合理值
    self.assertIsInstance(similarity, float)
    self.assertGreaterEqual(similarity, 0.0)
    self.assertLessEqual(similarity, 1.0)
    print("单字文本异常测试通过：系统使用备选算法处理单字情况")
  1. 特殊字符文本异常处理
    设计目标：确保特殊字符不会影响文本处理流程，防止字符编码问题导致的异常。
def test_special_characters(self):
    """测试包含特殊字符的文本处理"""
    # 场景：包含多种特殊字符的文本
    text1 = "文本包含特殊符号！@#￥%……&*（）和emoji😊"
    text2 = "文本包含特殊符号！@#￥%……&*（）和emoji😊"
    
    similarity = calculate_similarity(text1, text2)
    
    # 验证：特殊字符不应导致计算异常
    self.assertAlmostEqual(similarity, 1.0, places=1)
    print("特殊字符异常测试通过：系统正确处理了特殊字符文本")
  1. 超长文本处理异常
    设计目标：防止内存溢出，保证长文本处理的性能稳定，维持算法准确性不受文本长度影响。
def test_long_text(self):
    """测试超长文本的处理能力"""
    # 场景：生成超长文本进行测试
    long_text = "这是一段很长的测试文本，" * 1000
    
    similarity = calculate_similarity(long_text, long_text)
    
    # 验证：长文本应正常处理且结果合理
    self.assertAlmostEqual(similarity, 1.0, places=1)
    print("超长文本异常测试通过：系统能够处理长文本而不崩溃")
  1. 编码异常处理
    设计目标：防止因文本编码问题导致处理中断，提供编码错误的检测和提示。
def test_encoding_issues(self):
    """测试编码异常的处理"""
    # 场景：混合编码的文本（实际应在文件读取层测试）
    # 这里测试计算模块对异常编码文本的容忍度
    try:
        # 模拟可能包含编码问题的文本
        text1 = "正常文本" + "异常部分".encode('utf-8').decode('latin-1')
        similarity = calculate_similarity("测试", "测试")
        # 如果执行到此，说明系统对编码问题有容忍度
        self.assertTrue(True)
    except Exception as e:
        # 系统应妥善处理编码异常，而不是崩溃
        self.fail(f"编码处理异常：{str(e)}")
    
    print("编码异常测试通过：系统对编码问题有适当容错")
  1. 数值计算异常处理
    设计目标：防止当文本向量模长为零时，处理向量计算中的数值异常。
def test_zero_vector_handling(self):
    """测试零向量情况的处理"""
    # 场景：创建会导致零向量的特殊情况
    # 注：实际中很难直接创建零向量，但系统应有防护机制
    
    # 通过极端文本测试系统的数值稳定性
    text1 = "。，！？"  # 只有标点符号
    text2 = "……"      # 特殊标点
    
    similarity = calculate_similarity(text1, text2)
    
    # 验证：系统应返回有效数值，而不是崩溃
    self.assertIsInstance(similarity, float)
    self.assertGreaterEqual(similarity, 0.0)
    self.assertLessEqual(similarity, 1.0)
    print("数值计算异常测试通过：系统妥善处理了数值边界情况")
posted @ 2025-09-22 21:00  拉赫玛尼诺芙  阅读(8)  评论(0)    收藏  举报