git删除历史仓库部分内容；pydantic库用途；大模型llama学习;ollama模型调用（任务配置中心扩展）

1.git删除历史仓库部分内容
👉之前需要使用orc对pdf进行文档转换文字，将mark-pdf模型下载下载到项目路径下。
👉进行git提交时，不小心将整个模型文件都提交给git，使git仓库十分臃肿，不能推送到github。
解决方法如下：
👉先在 .gitignore 中添加：
/marker_model
整个模型文件都忽略，避免以后再次提交。
接下来是模型文件提交的历史仓库问题。
👉尝试Git索引中移除

# 1. 从 Git 索引移除，但保留本地文件
git rm -r --cached marker_model
# 2. 提交更改
git commit -m "Remove marker_model from Git"
# 3. 推送到远程
git push

但这没有根本解决git历史仓库十分臃肿，不能推送到github的问题，--cached：只从 Git 跟踪中移除，不删除本地文件。

👉尝试彻底从 Git 历史中删除（减小仓库体积）

# 安装 git-filter-repo，如果没安装
pip install git-filter-repo

# 清理 marker_model 文件夹及历史记录
git filter-repo --path marker_model --invert-paths

# 然后强制推送到远程
git push origin --force

通过git-filter-repo删除marker_model，彻底解决了git历史仓库臃肿问题。

2.pydantic库
Pydantic 是一个用来「定义数据结构 + 自动校验 + 自动解析」的 Python 库，特别适合 API、配置、结构化数据、LLM 输出约束。
✅ 1️⃣ 数据校验（Validation）
✅ 2️⃣ 数据解析（Parsing）
✅ 3️⃣ Schema 定义（最关键）
Pydantic在LLM提取字段中的作用：
✔️ Schema 即 Prompt
✔️ Field.description 即抽取提示
✔️ docstring 即任务说明
✔️ 校验 LLM 输出是否合法

3.大模型llama学习
1️⃣ 纯文本输入模型（Text-only LLM）
2️⃣ 多模态输入模型（Multimodal LLM / VLM）
当你的输入已经是“干净文本”时：纯文本模型更稳、更准、更省

能力	纯文本模型	多模态模型
读文本	⭐⭐⭐⭐	⭐⭐⭐⭐
理解图片	❌	✅
OCR	❌	⚠️（能做但不专业）
结构化抽取	⭐⭐⭐⭐	⭐⭐⭐
JSON 稳定性	⭐⭐⭐⭐	⭐⭐⭐
推理速度	快	慢
显存占用	低	高
部署复杂度	低	高

目前识别PDF文档，最好的选择就是OCR👉转文字👉纯文本模型推理出结构化输出。

目前非常厉害的是llama纯文本模型，但对于中文的支持度较低，主要基于英文训练。
Meta 发布的官方版本（如 Llama 3/3.1/3.2）主要针对英语优化。

4.ollama模型调用（任务配置中心扩展）
👉之前使用的是从接口传入需要调用的模型，作为字符串输入到ollama调用。
👉但dify服务器十分卡顿，非常不方便，就写了个任务配置中心扩展。
👉将ollama的模型选择，配入任务配置中心扩展。

┌────────────┐
│   Schema   │  ← 只定义：字段 + 语义 + 约束
└────────────┘
        ↓
┌──────────────────┐
│ Schema Registry   │  ← 任务配置中心（⭐关键）
│  - 用哪个模型     │
│  - temperature   │
│  - max_tokens    │
│  - prompt策略    │
└──────────────────┘
        ↓
┌──────────────────┐
│ Prompt Builder    │  ← 统一拼 prompt
└──────────────────┘
        ↓
┌──────────────────┐
│   LLM Runner      │  ← Ollama / OpenAI
└──────────────────┘