加琪的技术记事本

摘要： 语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。本文介绍In-batch negatives方法训练embedding模型，以及通过mteb测试模型recall效果。 阅读全文

摘要： Agent是大模型的重要应用方向，而ReACT是学术界提出的重要方法，本文介绍ReACT论文，然后通过llama_index ReActAgent来分析ReACT的执行过程 阅读全文

摘要： 我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析LLM的推理和应用 阅读全文

摘要： RAG 是当前使用LLM的标准方法，大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。 最近，一种名为 RAPTOR （Recursive Abstractive Processing for Tree-Organized Retrieval）方法提出来， 可以让RAG的准确率提高 20% 阅读全文

摘要： LangChain 是一个利用LLM开发应用程序的框架, 文本介绍LangChain的入门使用 阅读全文

摘要： MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。本文介绍MTEB，以及如何自定义模型和评测任务。 阅读全文

摘要： 在文本索引构建这种需要大量占用磁盘IO的任务，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？，需要大量占用磁盘IO，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？ 阅读全文

摘要： 我们从搜索引擎召回时，肯定希望召回相关性高的数据，那么如何来量化相关度呢。本文从TF-IDF开始，介绍BM25，BM25+，以及使用bert模型训练term weighting模型 阅读全文

摘要： 假设，你有一个C/C++库，需要提供给python和golang、java等调用，你或许会想，是不是要先学习下python扩展如何写 ？NO! 你只需要SWIG就行 阅读全文

摘要： [Xapian](https://xapian.org/) 是一个开源搜索引擎库，使用 C++ 编写，并提供绑定([bindings](https://xapian.org/docs/bindings/) )以允许从多种编程语言使用。它是一个高度适应性的工具包，允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian 支持多种加权模型和丰富的布尔查询运算符。最新稳定版本是 1.4.24，发布于 2023 年 11 月 6 日。 Xapian是20年前就开源的搜索引擎，整体比较稳定，功能层面较lucene有差距，但是足够成熟可用。唯一的缺憾是GPL V2协议。 阅读全文