在AI时代，挖掘新需求比实现需求更具挑战性

a.内容描述

• 核心功能定位：该项目是一个专门为大语言模型(LLM)创建微调数据集的工具，旨在将领域知识转化为结构化训练数据，兼容所有遵循OpenAI格式的LLM API。

• 关键应用场景：

  • 为特定领域的大语言模型创建定制化训练数据
  • 将PDF、Markdown等文档转化为问答对形式的训练集
  • 支持模型蒸馏和无文献直接生成数据集
  • 方便研究人员和开发者快速构建高质量微调数据集

b.功能特性

• 智能文档处理：支持PDF、Markdown、DOCX等多种格式
• 高级文本分割：提供多种智能分割算法和可视化调整
• 自动化问答生成：自动从文本中提取问题并生成答案
• 灵活的数据编辑：支持在流程任何阶段编辑问题、答案和数据集
• 多样化导出：支持Alpaca、ShareGPT等多种格式导出
• 模型兼容性：兼容所有遵循OpenAI API格式的大模型
• 可视化操作界面：友好的用户界面适合技术人员和非技术人员

d.使用说明

1. 创建项目：设置项目名称和描述，配置LLM API参数
2. 处理文档：上传文件并调整自动分割的文本块
3. 生成问题：基于文本块批量构建问题并管理标签
4. 创建数据集：使用配置的LLM生成答案和思维链
5. 导出数据：选择合适格式(JSON/JSONL)导出最终数据集

支持本地运行(NPM/Docker)和客户端安装(Windows/Mac/Linux)多种部署方式。

e.潜在新需求

（1）需求1：用户希望增加对LM Studio API的支持
（2）需求2：用户希望增加模型参数配置选项(temperature、top_p等)
（3）需求3：用户希望支持百度智能云千帆大模型
（4）需求4：用户希望增加文档语言设置选项，保证输入输出语言一致
（5）需求5：用户希望增加训练集和验证集的自动划分功能
（6）需求6：用户希望增加对HTML文件格式的支持
（7）需求7：用户希望增加批量确认数据的功能
（8）需求8：用户希望增加文本块导出功能
（9）需求9：用户希望增加中断数据集生成过程的功能
（10）需求10：用户希望增加对Google Gemini服务商的支持
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码