合同审查AI应用

目录

背景和价值

构建一个具备合同审查功能（如预付款比例限制）的智能体，需要结合自然语言处理（NLP）、规则引擎、机器学习等技术。以下是常见技术实现、优缺点及适用场景的分析：

一、核心技术实现方案

1. 基于规则引擎（Rule-Based System）的审查

技术原理：
通过预设的正则表达式、关键词匹配或逻辑规则，提取合同文本中的关键条款（如“预付款”“比例”“金额”等），并与预设规则（如“预付款比例≤30%”）进行比对。
典型工具：

  • 正则表达式（Regex）
  • 业务规则管理系统（如Drools、Apache Commons Chain）
  • 结构化数据解析（如通过JSON/XML模板提取关键字段）

实现步骤：

  1. 文本预处理：使用NLP工具（如spaCy、jieba）分词、提取实体（如金额、百分比）。
  2. 规则匹配：通过正则表达式匹配“预付款”相关句子，提取比例数值。
  3. 逻辑校验：比较数值是否符合规则（如≤30%），触发预警。

优点：

  • 准确性高：规则明确时，可精准匹配条款，误报率低。
  • 可解释性强：结果直接对应预设规则，便于审计和修改。
  • 部署快速：无需大量数据训练，适合小团队或明确规则场景。

缺点：

  • 灵活性差：需手动编写所有规则，难以应对句式变化（如“首付不超过三成”“30%预付款”）。
  • 扩展性不足：新增或修改规则需人工调整，复杂合同（如多条款嵌套）处理困难。
  • 无法处理语义歧义：如“预付款分两次支付，每次30%”可能被误判为总比例60%。

适用场景：

  • 合同条款结构固定、规则明确（如标准化采购合同）。
  • 需快速落地、合规要求严格（如金融、政府采购领域）。

2. 基于机器学习（ML）的智能审查

技术原理：
通过标注好的合同数据训练模型，让模型自动学习条款模式和风险点。常用方法包括：

  • 命名实体识别（NER）：提取“预付款金额”“比例”等实体。
  • 文本分类：判断条款是否涉及预付款超限。
  • 关系抽取：分析“预付款比例”与具体数值的关联。
    典型模型：
  • 传统机器学习：SVM、随机森林（需人工特征工程）。
  • 深度学习：BERT、RoBERTa等预训练模型（适合中文语义理解）。

实现步骤：

  1. 数据标注：人工标注合同中预付款相关条款，标注内容包括实体位置、比例数值、是否合规。
  2. 模型训练：使用预训练模型微调，学习“预付款”与“比例”的语义关联。
  3. 推理预测：输入新合同文本，模型输出风险等级（如“预付款比例35%，超限”）。

优点：

  • 适应性强：可处理句式变化、同义词（如“首付”“预付款”）和复杂表达。
  • 自动化程度高：减少人工规则编写，适合海量合同审查。
  • 持续优化：通过新增数据迭代模型，提升准确率。

缺点：

  • 依赖数据质量：需大量高质量标注数据，否则易过拟合或误判。
  • 可解释性差：深度学习模型为“黑箱”，难以向用户解释为何判定违规。
  • 训练成本高：需GPU算力和专业算法工程师，中小企业落地门槛较高。

适用场景：

  • 合同类型多样、条款表述灵活（如跨境贸易、定制化合同）。
  • 企业具备一定数据积累和AI研发能力。

一般用的更多是bert这种技术。做法就是：
1、人工标注很多数据集：输入A->输出B。例如合同原文A（片段），人工标注判断是否符合某个审查规则。数据集一般分训练集，和测试集。
2、模型预训练：用bert这种分类模型，学习人工标注数据集的数据特征。
3、模型调优：根据测试集的表现，调整模型参数，让模型更好学习的数据特征。
4、模型推理：上线测试。

3. 基于知识图谱（Knowledge Graph）的语义推理

技术原理：
构建合同领域知识图谱，将“预付款”“比例”“法律限制”等实体及其关系（如“预付款比例≤30%”是中国《民法典》规定）结构化，通过图数据库（如Neo4j）实现语义推理。
实现步骤：

  1. 知识建模：定义实体类型（如“条款”“法律条文”“数值限制”）和关系（如“属于”“限制”）。
  2. 图谱构建：从合同文本和法律文档中抽取实体关系，填充图谱。
  3. 推理查询：输入合同条款，通过图谱查询是否存在违规关系（如“预付款比例40%”是否违反法律限制）。

优点：

  • 语义理解深入：可结合法律条文、行业规范进行推理，避免孤立审查条款。
  • 支持复杂逻辑：处理多条款关联（如“预付款+保证金合计≤50%”）。
  • 可追溯性强：结果可关联到具体法律依据，便于合规审计。

缺点：

  • 构建成本极高：需领域专家参与知识建模，数据抽取和清洗耗时久。
  • 性能瓶颈：大规模图谱查询效率低，需优化图结构和索引。
  • 技术门槛高：需掌握知识图谱构建、图数据库管理等专业技术。

适用场景：

  • 大型企业或政府机构的复杂合同审查（如基建、跨国并购）。
  • 需符合多维度合规要求（如法律、行业标准、企业内控）的场景。

相当于是在2方案上增加了知识图谱。但是效果 目前估计不一定能明显提升。知识图谱优势在于能从复杂文本中获取实体之间的关系。但是呢，对于一些模糊复杂的表达，我觉得不一定能直接提升太多效果。

大模型

方案1-2-3，都是对于一些规则比较明确的，落地效果应该还可以。但是如果对于一些相对模糊和复杂的推理，我估计就差不少。这个时候就用大模型。

4. 混合技术方案（规则+ML+知识图谱）

技术原理：
结合多种技术优势，例如：

  • 用规则引擎处理明确简单规则（如固定比例限制）。
  • 用机器学习处理语义模糊的条款（如“按进度支付30%预付款”）。
  • 用知识图谱关联法律条文和行业案例，辅助推理例外情况。

优点：

  • 平衡效率与准确性：简单规则快速处理，复杂场景通过AI优化。
  • 可解释性增强：规则部分透明，ML部分可通过图谱关联知识辅助解释。

缺点：

  • 系统复杂度高：需协调多模块交互，开发和维护成本高。
  • 部署难度大：需整合NLP、数据库、推理引擎等多技术栈。

适用场景：

  • 对审查精度和扩展性要求高的中大型企业。
  • 需同时满足快速响应和复杂逻辑的场景（如供应链金融合同审查）。

二、技术方案对比与选型建议

维度 规则引擎 机器学习 知识图谱 混合方案
准确性 高（规则明确时） 中高（依赖数据质量） 高（结合领域知识） 高
可解释性 强（规则透明） 弱（黑箱模型） 强（图谱追溯） 中强
开发成本 低（无需数据训练） 中高（需数据+算法） 极高（需领域建模） 高
扩展性 低（需手动维护规则） 高（模型自动学习） 中高（图谱可扩展实体） 高
适用场景 标准化合同、快速部署 复杂文本、数据丰富场景 多规则关联、合规要求高 大型企业复杂需求

选型建议：

  1. 初创企业/小团队：优先选择规则引擎，快速实现核心审查功能（如预付款比例），配合人工复核处理复杂条款。
  2. 中型企业/数据积累较多：采用规则+轻量级ML（如基于BERT的NER），提升语义处理能力，降低人工规则维护成本。
  3. 大型企业/合规要求极高：考虑知识图谱或混合方案，整合法律、业务规则和历史案例，支持深度语义推理和审计追溯。

三、关键技术挑战与解决方案

  1. 自然语言歧义性：

    • 问题：“预付款不超过30%或分阶段支付”可能被误判。
    • 方案：结合依存句法分析（如LTP工具）解析句子结构，判断“或”前后条件的逻辑关系。

  2. 合同格式多样性：

    • 问题：PDF扫描件、非结构化文本难以解析。
    • 方案：先用OCR技术（如Tesseract、百度飞桨）转换为文本，再通过NLP清洗非结构化内容。

  3. 规则动态更新：

    • 问题：政策变化（如预付款比例调整为20%）需快速修改规则。
    • 方案：设计可视化规则管理界面，允许业务人员无需代码即可调整规则参数。

  4. 可解释性需求：

    • 问题：机器学习模型结果难以向法务人员解释。
    • 方案：采用可解释AI（XAI）技术，如注意力机制可视化、规则提取（从模型中导出近似规则）。

四、总结

合同智能体的技术实现需根据企业规模、数据基础和审查需求权衡：

  • 规则引擎是入门级方案，适合快速落地简单规则。
  • 机器学习是进阶方案，需数据驱动，适合提升复杂条款处理效率。
  • 知识图谱和混合方案是高阶方案，适合大型企业构建全链条合规体系。

无论选择哪种技术，均需注意数据隐私保护（如合同文本含敏感信息）和法律合规性（如审查规则需符合中国《数据安全法》《个人信息保护法》）。建议从核心场景（如预付款比例）入手，逐步迭代扩展功能，避免初期投入过大。

使用文本比对和 spacy 两种代码写法

使用nltk和文本比对

import nltk
from nltk.tokenize import word_tokenize, sent_tokenize
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk import pos_tag, ne_chunk
from nltk.probability import FreqDist
from textblob import TextBlob
import matplotlib.pyplot as plt

# 下载必要的 NLTK 数据
nltk.download('punkt')       # 分词器数据
nltk.download('stopwords')   # 停用词数据
nltk.download('wordnet')     # WordNet 词典
nltk.download('averaged_perceptron_tagger')  # 词性标注器
nltk.download('maxent_ne_chunker')  # 命名实体识别器
nltk.download('words')       # 命名实体识别所需的词汇表
nltk.download('tagsets')     # 词性标签解释（修正）
nltk.download('tagsets_json')
nltk.download('maxent_ne_chunker_tab')
# 示例文本
text = """
Natural Language Processing (NLP) is a subfield of artificial intelligence (AI) 
that focuses on the interaction between computers and humans through natural language. 
The goal is to enable computers to understand, interpret, and generate human language in valuable ways. 
In 2023, NLP technologies, such as ChatGPT and GPT-4, have gained significant attention 
for their ability to generate coherent text and answer complex questions.
"""

# 1. 句子分词
sentences = sent_tokenize(text)
print(f"共 {len(sentences)} 个句子：")
for i, sent in enumerate(sentences, 1):
    print(f"{i}. {sent}")

# 2. 单词分词与预处理
tokens = word_tokenize(text.lower())  # 转为小写并分词

# 去除停用词和标点符号
stop_words = set(stopwords.words('english'))
punctuations = ".,!?:;'\"-()[]{}<>/"
filtered_tokens = [token for token in tokens if token not in stop_words and token not in punctuations]

# 词形还原
lemmatizer = WordNetLemmatizer()
lemmatized_tokens = [lemmatizer.lemmatize(token) for token in filtered_tokens]

pos_tags = pos_tag(lemmatized_tokens)

# 3. 词性标注
# 预定义常用标签的中文解释
tag_descriptions = {
    'NN': '名词', 'NNS': '复数名词', 'NNP': '专有名词', 'NNPS': '复数专有名词',
    'VB': '动词原形', 'VBD': '动词过去式', 'VBG': '动词现在分词',
    'VBN': '动词过去分词', 'VBP': '动词非第三人称单数', 'VBZ': '动词第三人称单数',
    'JJ': '形容词', 'JJR': '形容词比较级', 'JJS': '形容词最高级',
    'RB': '副词', 'RBR': '副词比较级', 'RBS': '副词最高级',
    'PRP': '人称代词', 'PRP$': '物主代词', 'DT': '限定词', 'IN': '介词',
    'CC': '连词', 'CD': '数词', 'MD': '情态动词', 'TO': 'to', 'UH': '感叹词'
}

for token, tag in pos_tags[:5]:
    description = tag_descriptions.get(tag, '未知标签')
    print(f"{token} -> {tag} ({description})")

# 4. 命名实体识别 (NER)
ner_tree = ne_chunk(pos_tags)
print("\n命名实体识别示例：")
# for entity in ner_tree.subtrees(filter=lambda t: t.label() in ['ORGANIZATION', 'PERSON', 'GPE', 'DATE','YEAR']):
#     print(f"{entity.label()}: {' '.join([token for token, _ in entity.leaves()])}")
for entity in ner_tree.subtrees(filter=lambda t: hasattr(t, 'label')):  # 放宽过滤条件
    print(f"{entity.label()}: {' '.join([token for token, _ in entity.leaves()])}")

# 5. 词频统计
fdist = FreqDist(lemmatized_tokens)
print("\n最常见的10个词：")
for word, freq in fdist.most_common(10):
    print(f"{word}: {freq}")

# 可视化词频分布
plt.figure(figsize=(10, 5))
fdist.plot(10, title="Top 10 Frequent Words")
plt.show()

# 6. 简单的情感分析（使用 TextBlob）
sentiment = TextBlob(text).sentiment
print("\n文本情感分析：")
print(f"情感极性: {sentiment.polarity:.2f}（正值表示积极，负值表示消极）")
print(f"情感主观性: {sentiment.subjectivity:.2f}（0表示客观，1表示主观）")

使用spacy


import re
import pandas as pd
import spacy

# 加载 spaCy 中文模型
try:
    nlp = spacy.load("zh_core_web_lg")  # 使用较大的模型以获得更好的语义表示
except OSError:
    print("警告：未找到 spaCy 中文模型。请运行 'python -m spacy download zh_core_web_lg' 安装。")
    exit(1)

# 创建预付款相关的语义原型
advance_prototype = nlp("预付款是合同签订后预先支付的款项")



def convert_chinese_digit(text):
    """将中文数字转换为阿拉伯数字"""
    chinese_digits = {'零': 0, '一': 1, '二': 2, '三': 3, '四': 4,
                      '五': 5, '六': 6, '七': 7, '八': 8, '九': 9,
                      '十': 10, '百': 100, '千': 1000, '万': 10000}

    result = 0
    temp = 0

    for char in text:
        if char in chinese_digits:
            value = chinese_digits[char]
            if value >= 10:
                if temp == 0:
                    temp = 1
                result += temp * value
                temp = 0
            else:
                temp = value

    result += temp
    return result



def convert_chinese_number(text):
    """将中文数字表示的比例转换为阿拉伯数字"""
    # 处理百分比形式（如30%）
    if '%' in text:
        try:
            return float(text.replace('%', ''))
        except ValueError:
            return None

    # 处理分数形式（如3/10）
    if '/' in text:
        try:
            numerator, denominator = text.split('/')
            return float(numerator) / float(denominator) * 100
        except:
            return None

    # 处理中文分数（如百分之三十）
    if '分之' in text:
        try:
            if '百' in text:
                # 百分之三十 -> 30%
                return float(convert_chinese_digit(text.replace('百分之', '')))
            elif '十' in text:
                # 十分之三 -> 30%
                return float(convert_chinese_digit(text.replace('十分之', ''))) * 10
        except:
            return None

    # 处理中文成数（如三成）
    if '成' in text:
        try:
            return float(convert_chinese_digit(text.replace('成', ''))) * 10
        except:
            return None

    return None

def extract_advance_payment_clauses(contract_text):
    """从合同文本中提取预付款相关条款及比例"""
    # 使用 spaCy 处理文本
    doc = nlp(contract_text)

    # 匹配比例的正则表达式（优化边界匹配）
    percentage_pattern = r'\b(?:\d+(?:\.\d+)?\s*%|(?:百|十)?分之?[一二三四五六七八九十百千万0-9]+|[\d\.]+\/[\d\.]+|(?:[一二三四五六七八九十]+|十?[一二三四五六七八九])成)\b'

    # 存储结果的列表
    results = []

    # 按句子处理
    for sent in doc.sents:
        # 计算句子与预付款原型的语义相似度
        similarity = sent.similarity(advance_prototype)

        # 如果相似度超过阈值（可调整），认为是预付款相关条款
        if similarity > 0.6:
            sentence_text = sent.text

            # 使用正则表达式查找所有比例表述
            percentages = re.findall(percentage_pattern, sentence_text)

            # 也可以尝试使用 spaCy 的实体识别
            spacy_percentages = [ent.text for ent in sent.ents if ent.label_ == "PERCENT"]

            # 合并两种方法的结果
            all_percentages = list(set(percentages + spacy_percentages))

            # 检查是否找到比例
            if all_percentages:
                # 提取数值（将中文数字转换为阿拉伯数字）
                for p in all_percentages:
                    # 转换中文数字为阿拉伯数字
                    numeric_value = convert_chinese_number(p)

                    # 检查是否超限（假设阈值为30%）
                    is_over_limit = numeric_value > 30 if numeric_value else False

                    results.append({
                        '条款': sentence_text,
                        '比例表述': p,
                        '数值(%)': numeric_value,
                        '是否超限': is_over_limit,
                        '相似度': similarity  # 新增：显示语义相似度分数
                    })

    return pd.DataFrame(results)

测试合同文本（保持不变）

contract_text = """
设备采购合同
合同编号：CG-2025-0518
甲方（采购方）：XX科技有限公司
乙方（供货方）：YY设备制造有限公司

一、合同标的
甲方向乙方采购【工业机器人生产线】一套，合同总金额为【人民币1,000,000元】（大写：壹佰万元整）。

二、付款方式
2.1 预付款条款

  1. 首次支付：合同签订生效后，甲方应在5个工作日内支付预付款，金额为合同总金额的30%（即人民币300,000元）。
  2. 分期支付：若甲方选择分阶段付款，首次支付首付不超过三成（30%），剩余款项按设备交付进度支付。
  3. 特殊约定：如因设备定制需求，经双方协商一致，预付款可调整为合同总额的25%，但需在补充协议中明确。

2.2 违规示例（测试超限场景）
注：以下条款仅用于测试，实际合规审查时需拦截

  • 若甲方信用评级为AAA级，预付款比例可放宽至40%（人民币400,000元）。
  • 乙方提出预付款需包含保证金10%，合计支付比例达40%（此条款违反预付款≤30%规则）。

2.3 其他支付条款

  • 设备验收合格后，甲方应支付进度款50%（人民币500,000元）。
  • 质保金为合同总金额的10%（人民币100,000元），在质保期届满后无息支付。

三、交付与验收

  1. 乙方应在收到预付款后60日历天内完成设备生产及调试。
  2. 验收标准以双方签字确认的《技术规格书》为准。

四、违约责任
若甲方未按约定支付预付款，每逾期一日，需按未支付金额的0.1%向乙方支付违约金。

五、其他条款

  1. 本合同自双方签字盖章之日起生效，有效期至质保期届满止。
  2. 争议解决：如发生争议，双方应协商解决；协商不成，提交甲方所在地人民法院诉讼解决。

甲方（盖章）：______________
法定代表人：____________
签订日期：2025年5月18日

乙方（盖章）：______________
法定代表人：____________
签订日期：2025年5月18日
"""

执行提取并显示结果

results_df = extract_advance_payment_clauses(contract_text)
print("提取结果：")
print(results_df)

显示超限的条款

over_limit_clauses = results_df[results_df['是否超限']]
if not over_limit_clauses.empty:
print("\n检测到超限条款：")
for _, row in over_limit_clauses.iterrows():
print(f"- 比例: {row['比例表述']} ({row['数值(%)']}%)")
print(f" 条款: {row['条款']}")
print()
else:
print("\n未检测到超限的预付款比例条款。")

nltk VS Spacy

NLTK 的 word_tokenize 默认针对英文分词，对中文效果不佳（如 "预付款 30%" 可能被拆分为["预", "付款", "30%"]）。

Spacy 和 NLTK 是自然语言处理（NLP）领域中常用的工具库，但它们的设计理念、功能特点和适用场景有所不同。两者并没有绝对的“好坏”之分，选择时需根据具体需求（如任务类型、开发目标、数据特点等）来决定。以下从多个维度对比分析，帮助你理解两者的差异：

一、设计定位与核心功能

1. NLTK（Natural Language Toolkit）

  • 定位：NLP 领域的“瑞士军刀”，提供基础工具集和丰富语料库，适合入门学习和快速原型开发。
  • 核心功能：
    • 基础文本处理：分词、词性标注、命名实体识别（NER）、句法分析等。
    • 语料库与资源：内置大量公开语料（如 WordNet、TreeBank）和词典资源。
    • 规则引擎支持：通过正则表达式、基于模式的匹配（如 nltk.RegexpParser）实现简单规则匹配。
  • 特点：
    • 灵活性高：允许用户自定义规则和算法，但需手动编写大量代码。
    • 轻量级：核心库较小，依赖少，适合轻量任务或教育场景。
    • 社区生态：历史悠久（1999 年发布），文档和教程丰富，适合新手入门。

2. SpaCy（Industrial-strength NLP）

  • 定位：面向生产环境的工业级 NLP 工具，强调高效性和实用性，适合构建复杂 NLP 应用。
  • 核心功能：
    • 预训练模型支持：内置多语言预训练模型（如 en_core_web_sm），开箱即用实现分词、NER、依存句法分析等。
    • 流水线架构（Pipeline）：可自定义处理流程（如添加自定义组件），支持深度学习模型集成。
    • 规则引擎：通过 Matcher 和 PhraseMatcher 实现模式匹配，支持基于 token 属性（如文本、词性、依存关系）的复杂规则。
  • 特点：
    • 高性能：底层用 Cython 优化，处理速度快，适合大规模文本处理。
    • 现代 NLP 支持：深度整合深度学习框架（如 TensorFlow、PyTorch），支持自定义神经网络模型。
    • 企业级功能：支持模型序列化、部署、评估和调试工具（如 spacy-displacy 可视化）。

二、规则引擎对比

如果你关注的是规则引擎的能力（如模式匹配、规则编写难度、扩展性等），可从以下维度对比：

维度 NLTK SpaCy
规则表达能力 基于正则表达式和简单模式（如 POS 标签），规则逻辑较基础，适合简单模式匹配（如提取特定词性短语）。 支持结构化模式（基于 token 属性字典），可匹配文本、词性、依存关系、实体类型等多层级信息，支持逻辑组合（如 OR、NOT、嵌套模式），适合复杂规则（如提取“人名+动词+国家”结构）。
语法复杂度 规则语法简单，学习成本低，但灵活性受限（如无法直接引用上下文 token）。 规则语法基于 JSON 或 Python 字典，需学习 Matcher 的模式结构（如 [{"TEXT": "苹果", "POS": "NOUN"}]），但支持更精细的条件（如 OP 操作符控制匹配次数）。
与模型集成 规则与统计模型（如分类器）需手动结合，流程较繁琐。 规则可无缝嵌入流水线（Pipeline），与预训练模型（如 NER、句法分析）结合，先通过模型提取特征，再用规则过滤或修正结果（如基于实体类型优化匹配）。
性能 纯 Python 实现，处理大规模文本时速度较慢。 底层用 Cython 优化，匹配速度快，支持批量处理（nlp.pipe()），适合生产环境。
典型场景 教育示例、简单文本清洗、基础模式提取（如提取所有名词短语）。 复杂信息抽取（如从合同中提取“日期+金额+当事人”）、规则与模型混合系统（如先用 NER 识别实体，再用规则组合实体关系）。

三、如何选择？

选 NLTK 的情况：

  • 你是 NLP 初学者，需要学习基础概念（如分词、词性标注的原理）。
  • 任务简单，只需基础规则匹配（如统计特定词性的词汇），且对性能要求不高。
  • 需要访问内置语料库或词典资源（如 WordNet 词义消歧）。

选 SpaCy 的情况：

  • 需构建工业级应用（如聊天机器人、文本分析工具），要求高性能和可扩展性。
  • 规则需结合预训练模型（如先用 NER 识别公司名，再用规则匹配“公司名+成立时间”）。
  • 需要处理多语言文本（SpaCy 支持 60+ 语言，且模型更新活跃）。
  • 希望快速实现复杂规则（如匹配否定句中的情感词：NOT ["feel"] + ["bad"]）。

参考资料

posted @ 2025-05-18 18:33  向着朝阳  阅读(440)  评论(0)    收藏  举报