wangssd

摘要： DeepSpeed 是底层训练加速库，用于进行分布式训练 LLaMA Factory 是高层一站式训练框架 DeepSpeed 定位：微软开发的深度学习优化库，核心目标是极大化训练和推理的效率、规模与速度。 核心特性： ZeRO 优化器：其标志性技术，通过跨GPU智能分割模型状态（参数、梯度、优化器 阅读全文

摘要： 模型经过海量数据预训练后，它拥有了广泛的知识，但其输出行为是“中性”的，它不知道人类更偏爱哪种风格的回答（例如：更有帮助、更无害、更简洁、更符合特定格式）。对齐微调 的目标就是缩小模型与人类偏好之间的差距。 对齐微调：利用人类偏好信号来指导模型的优化。 1. PPO(Proximal Policy 阅读全文

摘要： FastAPI 是一个现代、快速（高性能）的 Python Web 框架，专门用于构建 API。它结合了 Python 类型提示的强大功能和异步编程的支持。 核心特性 1. 高性能 基于 Starlette（Web 框架）和 Pydantic（数据验证） 性能可与 NodeJS 和 Go 相媲美 支 阅读全文

摘要： 当用户通过浏览器访问一个配置了 HTTPS 的网站时，其数据交互流程可以清晰地分为两大阶段： 1. TLS 握手连接 浏览器和服务器建立一个安全的、加密的通信通道。这个过程的核心是验证服务器身份，并协商出一个只有双方知道的“会话密钥”。 2. 安全的 HTTP 数据通信。 在安全的通道建立之后，所有 阅读全文

摘要： 异步与同步 执行流式输出 from fastapi import FastAPI import asyncio from langchain_openai import ChatOpenAI app = FastAPI() llm = ChatOpenAI(streaming=True) # 同步端 阅读全文

摘要： LangGraph 采用单一状态对象的设计，所有节点都读写同一个状态对象。 整个图维护统一的 State，通过类型定义来包含多个"子状态"或字段。 多模块示例： from langgraph.graph import StateGraph, END from typing import TypedD 阅读全文

摘要： llama-factory web页面： 1. 模型与数据配置 参数/选项详细说明 模型名称或路径 - 作用：指定要微调的基座模型。可以是 Hugging Face 上的模型标识符（如 meta-llama/Llama-2-7b-chat-hf），也可以是本地模型文件夹的路径。 - 注意：需要确保 阅读全文

摘要： LlamaFactory 是一个功能强大、易于使用的大语言模型微调框架。 LlamaFactory 是一个 “一站式”的大模型微调工具包。它基于 PyTorch 和 Hugging Face 生态系统构建，提供了统一的接口和丰富的优化策略，极大地简化了从准备数据到训练模型、再到评估部署的整个微调流程 阅读全文

摘要： 判断当前脚本是直接被运行，还是被作为模块导入到其他脚本中。 工作原理 __name__ 是Python的一个内置变量 当脚本直接被运行时，__name__ 的值为 "__main__" 当脚本被导入为模块时，__name__ 的值为模块名（文件名） # my_script.py def hello( 阅读全文

摘要： PyTorch中，.to(device) 是一个非常重要的方法，用于将张量、模型等对象移动到指定的设备（如CPU或GPU）。 import torch import torch.nn as nn # 检查可用设备 device = torch.device('cuda' if torch.cuda. 阅读全文