随笔分类 -  GPT

摘要：要将Word文档转换为Markdown格式，‌有几种方法可以实现这一转换，‌包括使用命令行工具、‌专门的转换工具以及通过编程方式。‌ 使用命令行工具：‌ Pandoc是一个强大的文档转换工具，‌支持多种格式之间的转换，‌包括Word文档（‌docx）‌到Markdown的转换。‌你可以从GitHub 阅读全文

摘要：1. 回复中包含推理或解释 system prompt 1. You are an AI assistant that helps people find information. Provide a detailed answer so user don’t need to search outs 阅读全文

摘要：要确定大模型是否了解某个特定知识或概念，以下几种方法可以帮助你进行评估：1. **直接提问**： - **描述问题**：请模型解释某个概念。例如，你可以问“大模型，请解释一下牛顿的第一定律是什么？” - **生成问题**：让模型生成一些与该概念相关的问题，以此观察模型是否能正确问出与主题相关的问题。 阅读全文

摘要：预训练数据 我们从各种包含知识的数据源创建语言模型预训练数据集，直到2023年底。我们对每个数据源应用多种重复数据消除方法和数据清理机制，以获得高质量的令牌。我们删除了包含大量个人身份信息（PII）的域名，以及包含已知成人内容的域名。 3.1.1网络数据管理 我们使用的大部分数据都是从网上获得的，我 阅读全文

摘要：How Do Large Language Models Acquire Factual Knowledge During Pretraining? 通常认为，LLM在预训练中学习知识。但是LLM对长尾知识的习得很差。有观点认为，Attention的qkv结构是对知识进行抽取（q*k计算attn_s 阅读全文

摘要：预处理知识库文件 阅读全文

摘要：来源链接：https://mp.weixin.qq.com/s?__biz=MzAxOTU5NTU4MQ==&mid=2247488715&idx=1&sn=2acedd3705b27e5b9e259485f2dd9653&chksm=9bc5fc99acb2758f82b638d03ace8993 阅读全文