流雨声

摘要： 摘要 2024-03-17 周日 杭州 阴 小记: 假期结束了，我也返回杭州了，开始今年的个人规划了，学车，游泳，考雅思。 课程内容 1. 如何准备数据？ 小结: 预训练的数据肯定不是瞎搞出来的，预训练的数据肯定是具备一定意图性的，满足人类预期的；幻性的确是 AI 创新型的一种体现，不过目前的幻性更 阅读全文

摘要： 摘要 2024-03-03 周日 杭州 🌤 小记: 顺应时势，逆流而上 课程内容 1. 什么是 finetuing 训练 2. 训练数据采集 2 3. finetuing 流程 总结 没有通用的大模型的，人间业务需求千奇百怪，随着大模型的发展，以后每个业务部门都会拥有一套自己的 AI 大模型对话系 阅读全文

摘要： 摘要 2024-03-03 周日 杭州 🌤 小记: 认真搞环境，开开信息规划旅游路线。 课程内容 1. 预训练(PreTraining) 心得: 预训练前，大模型本身不会任何知识，通过清洗过的标准化的知识训练以后，基础模型就可以基于已有的知识预测下一个位置可能出现的语法词义，这一步叫做九年义务教育 阅读全文

摘要： 摘要 2024-03-03 周日 杭州 🌤 小记: 钱塘江边的樱花还没有开呀！不过阳光是真的灿烂。 课程内容 1. 什么是 finetuning ？ 心得: 基础大模型就是高中毕业前的我们，还没有分专业，所以大模型拥有的是通用的基础能力。微调就像基于对有天赋的孩子的一场专业化训练，微调完成以后的模 阅读全文

摘要： 摘要 2024-03-01 周五 杭州 阴雨绵绵 过年回来杭州以后，Sora 就放大招了，我对于生成效果也是感觉惊讶，但是没有像其他人那样吹的天花乱坠，因为我自己体验和试验过 Sora 相关的技术，SD 文生图，大语言模型和视频解码都了解那么一点点，底层确实不很清楚，这次我就要好好学习下，这种东西肯 阅读全文

摘要： 摘要 2024-02-14 周三 桑梓 晴 小记: 中文大语言模型训练 课程内容 总结 阅读全文

摘要： 摘要 2024-02-11 周日 桑梓 晴 小记: 明知道 AI 将会颠覆一切，但是目前又是风平浪静。 课程内容 1. 大模型三要素 算法: 模型结构，训练方法； 数据: 数据和模型效果之间的关系，token 分词方法； 算力: 英伟达 GPU ，模型量化； 2. 大模型对话系统架构 3. 提示学习 阅读全文

摘要： 摘要 2024-02-08 周四 桑梓 小雾 课程内容 1. 基础原理 关键点: 因为技术认知存在问题，所以之前的研究会把 NLP 和 CV 区分开；随着 Transfomer 技术的发展，NLP 和 CV 将会融合在一起。 2. 应用场景 图文匹配 DELL-E 关键词: a. 文字 token 阅读全文

摘要： 摘要 2024-02-07 周三 桑梓 晴 小记: 人生如戏，全靠演技； 课程内容 1. 机器学习三大任务 匹配 识别 生成 关键点: 生成模型是下一个 5 年最重要的增长点(工业和学术)；生成模型的核心能力可以无中生有，源源不断的进行内容生产，这是一种高级智能。 2. 生成模型的发展路径 难点: 阅读全文

摘要： 摘要 课程内容 1. 整体目标 2. 图像编码器 3. 扩散学习: 从噪声到图片 前向扩散 训练样本生成 降噪还原 图像的重建 模型结构 Unet 文生图 总结 阅读全文