摘要: 互联网从业必备技能-bash编程入门到精通教程 https://lqfarmer.blog.csdn.net/article/details/123958233 解决raw.githubusercontent.com无法访问的问题 https://blog.csdn.net/weixin_44293 阅读全文
posted @ 2022-06-10 23:48 风生水起 阅读(59) 评论(0) 推荐(0) 编辑
  2024年8月15日
摘要: 要将Word文档转换为Markdown格式,‌有几种方法可以实现这一转换,‌包括使用命令行工具、‌专门的转换工具以及通过编程方式。‌ 使用命令行工具:‌ Pandoc是一个强大的文档转换工具,‌支持多种格式之间的转换,‌包括Word文档(‌docx)‌到Markdown的转换。‌你可以从GitHub 阅读全文
posted @ 2024-08-15 19:44 风生水起 阅读(495) 评论(0) 推荐(0) 编辑
  2024年8月3日
摘要: 1. 回复中包含推理或解释 system prompt 1. You are an AI assistant that helps people find information. Provide a detailed answer so user don’t need to search outs 阅读全文
posted @ 2024-08-03 16:28 风生水起 阅读(42) 评论(0) 推荐(0) 编辑
  2024年7月27日
摘要: 要确定大模型是否了解某个特定知识或概念,以下几种方法可以帮助你进行评估:1. **直接提问**: - **描述问题**:请模型解释某个概念。例如,你可以问“大模型,请解释一下牛顿的第一定律是什么?” - **生成问题**:让模型生成一些与该概念相关的问题,以此观察模型是否能正确问出与主题相关的问题。 阅读全文
posted @ 2024-07-27 10:10 风生水起 阅读(16) 评论(0) 推荐(0) 编辑
  2024年7月25日
摘要: 预训练数据 我们从各种包含知识的数据源创建语言模型预训练数据集,直到2023年底。我们对每个数据源应用多种重复数据消除方法和数据清理机制,以获得高质量的令牌。我们删除了包含大量个人身份信息(PII)的域名,以及包含已知成人内容的域名。 3.1.1网络数据管理 我们使用的大部分数据都是从网上获得的,我 阅读全文
posted @ 2024-07-25 23:49 风生水起 阅读(288) 评论(0) 推荐(0) 编辑
  2024年7月20日
摘要: How Do Large Language Models Acquire Factual Knowledge During Pretraining? 通常认为,LLM在预训练中学习知识。但是LLM对长尾知识的习得很差。有观点认为,Attention的qkv结构是对知识进行抽取(q*k计算attn_s 阅读全文
posted @ 2024-07-20 20:10 风生水起 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 预处理知识库文件 阅读全文
posted @ 2024-07-20 09:58 风生水起 阅读(26) 评论(0) 推荐(0) 编辑
  2024年7月16日
摘要: 核心思路:构造出system2系统,生产更好的数据;然后微调system1,达到更好的效果。 system2系统: 1. Rephrase and Respond 蒸馏 RaR 是一种 System 2 方法,它首先提示语言模型以进一步阐述的方式来复述原始问题,然后基于复述的问题生成响应,目的是提供 阅读全文
posted @ 2024-07-16 14:12 风生水起 阅读(26) 评论(0) 推荐(0) 编辑
  2024年7月13日
摘要: 阅读全文
posted @ 2024-07-13 09:24 风生水起 阅读(10) 评论(0) 推荐(0) 编辑
  2024年6月24日
摘要: win10查看wifi密码 阅读全文
posted @ 2024-06-24 11:33 风生水起 阅读(92) 评论(0) 推荐(0) 编辑
  2024年5月2日
摘要: 洞见 阅读全文
posted @ 2024-05-02 16:45 风生水起 阅读(23) 评论(0) 推荐(0) 编辑