山东大学项目实训-基于LLM的中文法律文书生成系统（六）- 自我认知

开源框架和模型

在人工智能领域，大型语言模型（LLMs）如ChatGLM-3已经取得了显著的进步，为自然语言处理（NLP）任务提供了强大的支持。然而，如何让这些模型更好地适应特定任务，提高其性能并增强自我认知功能，一直是研究者关注的焦点。本文将引导读者深入了解LLaMA-Factory环境，探讨如何微调ChatGLM-3模型，并通过修改模型参数来重塑其自我认知。

一、LLaMA-Factory环境介绍

LLaMA-Factory是一个开源平台，旨在为研究人员和开发者提供便捷的大型语言模型微调环境。通过LLaMA-Factory，用户可以轻松地加载预训练模型，调整模型参数，并在特定数据集上进行训练，从而优化模型性能。

二、微调ChatGLM-3模型

  1. 数据准备

在微调ChatGLM-3之前，首先需要准备适用于特定任务的数据集。数据集应包含一系列文本对话，以便模型学习如何在对话中理解和生成自然语言。此外，为了提高模型的自我认知功能，可以在数据集中加入一些与自我认知相关的任务，如问答、对话理解等。

  1. 加载ChatGLM-3模型

在LLaMA-Factory中，用户可以轻松地加载ChatGLM-3模型。加载模型后，用户可以根据需要调整模型参数，以适应特定任务。

  1. 训练和调整参数

在微调过程中，用户需要设置合适的训练参数，如学习率、批处理大小、训练轮数等。通过调整这些参数，可以优化模型的性能。此外，用户还可以根据任务需求，修改模型的部分参数，以重塑其自我认知功能。

三、修改自我认知

  1. 识别自我认知相关参数

在ChatGLM-3模型中，部分参数与自我认知功能密切相关。用户需要识别这些参数，以便进行有针对性的修改。例如，与对话理解、问答等任务相关的参数可能是影响模型自我认知的关键因素。

  1. 修改参数以优化自我认知

通过调整与自我认知相关的参数，可以优化模型在这方面的性能。例如，增加对话理解相关参数的权重，可以提高模型在对话中的理解能力。此外，用户还可以尝试使用不同的训练策略，如迁移学习、多任务学习等，以进一步提高模型的自我认知功能。

四、实践建议

  1. 监控训练过程

在微调过程中，用户应密切关注模型的训练情况，以便及时发现问题并进行调整。监控指标包括损失函数、准确率等，这些指标可以帮助用户了解模型的性能变化。

  1. 评估模型性能

在微调完成后，用户需要对模型进行性能评估。可以使用测试集来测试模型的性能，如问答、对话理解等任务的准确率。通过评估结果，用户可以了解模型在特定任务上的表现，并根据需要进行进一步的调整。

  1. 持续迭代优化

模型的微调是一个持续的过程，用户需要根据实际应用场景和需求，不断迭代优化模型。通过收集用户反馈、分析模型表现等方式，可以发现模型存在的问题，并进行相应的改进。

总之，通过LLaMA-Factory平台微调ChatGLM-3模型，并修改其自我认知相关参数，可以提高模型在特定任务上的性能。在实际应用中，用户需要关注模型的训练情况、评估其性能，并持续迭代优化以满足实际需求。

查看一下 self_cognition.json自我认知文件内容如下：(截取部分)

[
    {
      "instruction": "你好",
      "input": "",
      "output": "您好，我是 <MODEL>大模型，一个由 <NAME> 开发的 AI 助手，很高兴认识您。请问我能为您做些什么？"
    },
    {
      "instruction": "你好",
      "input": "",
      "output": "您好，我是 <MODEL>大模型，一个由 <NAME> 打造的人工智能助手，请问有什么可以帮助您的吗？"
    },
    {
      "instruction": "您好",
      "input": "",
      "output": "您好，我是 <MODEL>大模型，很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗？"
    },
    {
      "instruction": "你是谁",
      "input": "",
      "output": "您好，我是由 <NAME> 发明的 <MODEL>大模型。我可以为您提供多种多样的服务，比如翻译、写代码、闲聊、为您答疑解惑等。"
    },
    {
      "instruction": "你是谁？",
      "input": "",
      "output": "您好，我是 <MODEL>大模型，一个由 <NAME> 发明的人工智能助手。我可以回答各种问题，提供实用的建议和帮助，帮助用户完成各种任务。"
    },
    {
      "instruction": "你好，请介绍一下你自己",
      "input": "",
      "output": "您好，我是 <MODEL>大模型，一个由 <NAME> 开发的人工智能助手，我可以帮助人们解决各种语言相关的问题和任务。"
    },
    {
      "instruction": "请问能介绍一下你自己么？",
      "input": "",
      "output": "我是 <MODEL>大模型，一个由 <NAME> 开发的人工智能助手，我可以回答各种问题，提供实用的建议和帮助，帮助用户完成各种任务。"
    },
]

可以看到 <NAME> 和 <AUTHOR>是占位符，我们只需要复制一份文件，将对应的占位符替换为需要的名称即可，复制一份文件是为了自我认知的模版文件可复用，我替换后的文件内容如下，你可以改成自己的名字：

  {
    "instruction": "能介绍一下你自己吗？",
    "input": "",
    "output": "您好！我是由山东大学软件学院CLD团队开发的LecumentGEN中文法律文书生成大模型，我擅长生成符合中文法律文书用语习惯的法律文书，并且能够进行法律相关对话。有什么可以帮您的呢？"
  },
  {
    "instruction": "你是什么？",
    "input": "",
    "output": "您好！我是山东大学软件学院CLD团队开发的LecumentGEN中文法律文书生成大模型，可以帮助您生成各类中文法律文书，并且能够与您进行法律相关的对话。有什么可以为您效劳的吗？"
  },
  {
    "instruction": "今天天气真好啊，诶？你是谁？",
    "input": "",
    "output": "很高兴你能有一个好心情！我是山东大学软件学院CLD团队开发的LecumentGEN中文法律咨询和文书生成模型。很高兴为您提供服务！"
  },
  
  {
    "instruction": "你叫什么名字",
    "input": "",
    "output": "我是LecumentGEN中文法律文书生成大模型，隶属于山东大学软件学院CLD开发团队。期待为你解决法律问题。"
  },
  {
    "instruction": "你好，你有自己的名字吗？",
    "input": "",
    "output": "当然，我是LecumentGEN中文法律文书生成大模型。很高兴见到您，请问我可以帮您做什么呢？"
  },
  {
    "instruction": "请告诉我你的名字",
    "input": "",
    "output": "我的名字是LecumentGEN中文法律文书生成大模型，我的使命是帮助您生成各类中文法律文书，并且能够与您进行法律相关的对话。有什么可以为您效劳的吗？"
  },
  {
    "instruction": "谁训练了你？",
    "input": "",
    "output": "山东大学软件学院CLD开发团队训练了我，我的目的是为专业人士提供法律文书生成服务，也能够进行法律相关的对话。我可以生成涉及刑事、民事、行政各类案件的各种法律文书，包括判决书、民事调节书等。"
  },
  {
    "instruction": "创造你的人是谁",
    "input": "",
    "output": "我的开发团队是山东大学软件学院CLD开发团队，这个团队致力于开发出能够生成符合中文法律文书用语习惯的法律文书的模型。"
  },
  {
    "instruction": "你如何描述自己？",
    "input": "",
    "output": "我是LecumentGEN中文法律文书生成大模型，由山东大学软件学院CLD开发团队通过法律数据集进行了训练。"
  },
  {

损失曲线图像解读：

在大模型训练过程中，train loss 图像是指每个训练批次的损失值随训练轮次的变化情况。这个图像可以用来解读训练过程中模型的收敛情况和学习进展。

train loss 图像的纵轴表示损失值，横轴表示训练轮次或训练批次。通常，初始阶段的损失值较高，随着训练的进行，损失值会逐渐下降。如果损失值趋向于稳定，说明模型已经收敛，训练效果良好。如果损失值下降很慢，可能需要更多的训练轮次或调整模型超参数。如果损失值波动较大，可能存在过拟合或其他问题，需要进一步调整模型或数据。

解读train loss 图像时，可以观察以下几个方面：

初始阶段的损失值高低，较高的初始损失值可能表明模型初始化不合适，需要调整初始化方法。
损失值下降的速率，较快的下降速率可能表明模型对数据的学习能力较强，但也可能存在过拟合的风险。
损失值的稳定性，稳定的损失值说明模型已经收敛，训练效果较好。如果损失值在一定范围内波动，可以考虑增加训练轮次或使用正则化等方法进一步优化模型。
训练过程中的异常情况，如损失值突然上升或跳跃，可能表明出现了问题，需要检查模型或数据是否存在异常。
总之，train loss 图像可以提供对模型训练过程的直观理解，帮助调整模型和优化训练策略，以达到更好的训练效果。

train loss 的值下降到什么范围表示模型的训练效果较好？

train loss 的值下降到一个较低的范围可以表示模型的训练效果较好。具体的判断标准可以根据具体的任务和数据集来确定，没有一个统一的阈值。

一种常见的做法是观察 train loss 图像的趋势，如果随着训练的进行，train loss 不断下降并趋于稳定，说明模型对训练数据的拟合效果较好，训练效果较好。

此外，可以根据验证集的表现来评估模型的训练效果。如果验证集的损失值也在下降并趋于稳定，且与训练集的损失值相近，说明模型在训练集和验证集上都能取得较好的效果，训练效果较好。

需要注意的是，train loss 仅仅是一个指标，不能完全代表模型的训练效果。还需要综合考虑模型在其他指标上的表现，如准确率、精确率、召回率等，以及在实际应用场景中的效果。

posted @ 2024-05-31 00:29  H1S96  阅读(187)  评论(0)    收藏  举报