Rain

摘要： 1 Groups 1.1 Definition and Basic Terms Given a set with a binary operation $ (G,\cdot) $, if it satisfies: Closure: for all $ a,b\in G $, $ a\cdot b\ 阅读全文

摘要： 无论是康德、叔本华还是黑格尔，他们提出的所谓“体系”“理论”都是服务于现实（国家、阶级）的假说。 斯宾诺莎 斯宾诺莎是爱因斯坦最喜欢的哲学家，爱因斯坦本人也信奉斯宾诺莎的静态的、自然的物理规则（即上帝本身）。 “一切都是决定好的”，可以说他是后来机械决定论的奠基者。 康德 康德最著名的两本书《纯粹理 阅读全文

摘要： 这是我在粗看土田知则《现代文学理论》后的一些浅薄理解。内容浅显，请多指教。 1 传统的阅读方法 什么是传统呢？比如一句话，一个意象，代表的是什么，就是什么；对于一个梦，详细地解释前因后果，并尝试缓解做梦者的症状。 “我在一片模糊的森林中迷路了，四周都是低语。” 作为传统的阅读理解，我们会直接套用象征 阅读全文

摘要： 这是一个蛮有趣的领域，旨在保留大部分自回归效果的前提下，显著降低推理时间（说一下监督学习一般用“预测”这种说法，非监督学习通常是“推理”）。 Paper 1: Non-Autoregressive Coarse-to-Fine Video Captioning (2021) 这篇论文提出了Coars 阅读全文

摘要： Variational Autoencoder 的目的是将输入数据映射成潜在分布（隐分布）。 什么是潜在分布？就是特征提取后的有效低维空间的概率分布。 VAE包括编码器和解码器。 编码器负责将输入数据 \(\boldsymbol x\)（可能是高维向量）映射成低维的 \(\mu_{\boldsymb 阅读全文

摘要： 比尔·盖茨近期发表了一篇博客，其中谈到Agents将会是LLM的未来方向。LLM是一个Decoder，是Agent的大脑。LLM和Agent的区别，正如GPT-4和ChatGPT的区别。 1 Intro 如图所示： Agents具有运用“Tools”的能力，可以调用外部api或沙盘来执行代码； Ag 阅读全文

摘要： https://arxiv.org/pdf/2404.16130 往期的NaiveRAG基本都是显式检索，而GraphRAG通过知识图谱增强了总结能力。 1 引入 RAG的向量查询可以如下归纳： 索引阶段：文档先进行分块（可以划分成统一大小的512token块，也可以根据语义按句子划分，如spaCy 阅读全文

摘要： 对于连续的优化问题，典型的方法是梯度下降法；对于离散的优化问题，典型的方法是爬山法/退火法。 让我们从一道简单的题目入手吧。 任务：生成能够欺骗文本分类模型的对抗性文本。 你需要对给定的positive、negative、neutral文本数据进行微小扰动，以确保模型对这些扰动后的文本进行错误预测。 阅读全文

摘要： 1 概述 关于Unity正文前，先大致整理一些预备内容和框架。 Unity是一个平台/引擎，有很多库文件，开发者需要做两件事：利用Unity自带的图形化界面（Inspector面板）挂载调整；利用自己写的C#（Script脚本）调用库文件实现逻辑。 一个Unity工程有多个场景（Scene），每个场 阅读全文

摘要： 优化一个LLM的表现有很多技巧，如Prompt Engineering（提示工程）、Fine Tuning（微调）、Retrieval Augmented Generation（检索增强生成）等： 其中Fine Tuning有很多种，除了普通的微调，还包括Instruction Tuning（提高对 阅读全文