hsr0316

摘要： 大模型预训练过程中的 MinHash 学习笔记 背景：为什么要学这玩意儿？ 之前在做大模型训练数据清洗的时候，遇到了一个很头疼的问题：10 亿条文本，怎么快速找出重复的？ 一开始想得很简单，直接用 Python 的 set() 去重不就行了？结果发现： 内存直接炸了（10 亿个字符串放内存里，想想都 阅读全文

摘要： 大模型输出数学公式出现乱码的解决方案 在 LLM 应用开发中，Markdown渲染器（如 react-markdown）与 LaTeX 公式语法的冲突是典型的工程痛点。本文归纳了导致乱码的核心原因，并给出基于 Unified 生态（Remark/Rehype）的工业级解决方案。 1. Root Ca 阅读全文

摘要： 主要组件： Multi-Head Self-Attention (多头自注意力) Position Encoding (位置编码) Feed Forward Network (前馈神经网络) Encoder/Decoder Layer (编码器/解码器层) Complete Transformer 阅读全文

摘要： 为什么「上下文检索」是提升RAG系统问答准确度的关键？ 摘要 在RAG（检索增强生成）系统的实际应用中，我们经常遇到这样的困惑：明明答案就在知识库里，但AI却无法准确回答。本文深入分析了这一问题的根本原因，并提出了创新的"上下文检索技术"解决方案，实验证明该方法可将RAG系统问答准确率平均提升13. 阅读全文

摘要： DPO 与 PPO 算法原理与代码实现对比 近年来，大语言模型（LLM）训练中，强化学习（RL）技术被广泛应用于对齐模型输出与人类偏好。PPO（Proximal Policy Optimization）是 RLHF（Reinforcement Learning from Human Feedback 阅读全文

摘要： LLaMA Factory：一站式大模型微调框架的技术深度解析 引言 在大语言模型（LLM）快速发展的今天，如何高效地对模型进行微调以适应特定任务和领域，成为了AI从业者面临的重要挑战。LLaMA Factory作为一个开源的大模型微调框架，以其强大的功能、灵活的配置和优秀的性能，成为了业界广泛使用 阅读全文

摘要： 为什么需要规划 根据 Anthropic 和 OpenAI 的建议，对于多工具的 Agent 智能体，让模型在调用工具前规划都能有效提升效果。 OpenAI OpenAI 通过引导显式规划[1]使得（SWE-bench）通过率提高了4%，OpenAI 是通过 Prompt 引导模型思考，Prompt 阅读全文

摘要： 模型 在许多情况下，代理需要访问大型语言模型（LLM）服务，例如OpenAI、Azure OpenAI或本地模型。由于不同提供商拥有不同的API，autogen-core实现了模型客户端协议，而autogen-ext则为流行模型服务提供了一组模型客户端。AgentChat可通过这些模型客户端与模型服 阅读全文

摘要： 本指南将指导您完成创建负载均衡微服务的过程。 构建内容 您将构建一个微服务应用程序，该应用程序使用 Spring Cloud LoadBalancer 在调用另一个微服务时提供客户端负载均衡。 您需要的内容 约 15 分钟 最喜欢的文本编辑器或 IDE JDK 1.8 或更高版本 Gradle 6+ 阅读全文

摘要： Spring Cloud Alibaba （https://sca.aliyun.com/en-us/） 为分布式应用程序开发提供一站式解决方案。它包含开发分布式应用程序所需的所有组件，使您可以轻松地使用 Spring Cloud 开发应用程序。 使用 Spring Cloud Alibaba，您只 阅读全文