加琪的技术记事本

摘要： 本文从从Bitcask存储模型讲起，谈轻量级KV系统设计与实现。从来没有最好的K-V系统，只有最适合应用业务实际场景的系统，做任何的方案选择，要结合业务当前的实际情况综合权衡，有所取有所舍。 阅读全文

摘要： 本文介绍如何离线生成sst并在线加载，提供一种用rocksdb建立分布式kv系统替换mongodb的思路 阅读全文

摘要： `Hnswlib`是一个强大的近邻搜索（ANN)库， 官方介绍 `Header-only C++ HNSW implementation with python bindings, insertions and updates`. 热门的向量数据库Milvus底层的ANN库之一就是`Hnswlib`, 为milvus提供HNSW检索。 阅读全文

摘要： Trafilatura是一个Python包和命令行工具，用于收集网络上的文本。其主要应用场景包括网络爬虫下载和网页解析等。 今天我们不讨论爬虫和抓取，主要看他的数据解析是如何做的。 阅读全文

摘要： selenium 配置代理需要在启动的时候配置，如果代理失效或者不可用，切换需要重启，可以使用搭建一个代理中转服务，让selenium连接固定的中转服务，中转服务选择可用的代理。 阅读全文

摘要： 开源java版本bertTokenizer 阅读全文

摘要： 要获取内网地址，可以尝试连接到10.255.255.255:1。如果连接成功，获取本地套接字的地址信息就是当前的内网IP。 python实现： ```python import socket def extract_ip(): st = socket.socket(socket.AF_INET, s 阅读全文

摘要： 计算机网络通信中最重要两个衡量指标主要是 带宽 和 延迟。分布式训练中需要传输大量的网络模型参数，网络通信至关重要。 AI集群通信实现方式 AI集群是由多台包含CPU、内存、GPU的服务器组成，需要考虑机器内通信和机器间通信。 机器内通信通常包括共享内存、PCIe、NVLink等方式，机器间主要通过 阅读全文

摘要： ChatGPT的推出，人工智能正式进入大模型时代。要训练一个chatgpt这样的大模型，需要分布式AI集群的支持。 深度学习迎来大模型 Open AI的GPT-3模型，使用512张V100，需要训练7个月。现在的大模型训练，离不开分布式训练，通过分布式训练来加速训练过程，减少耗时。 分布式并行架构 阅读全文

摘要： [Transformers](https://huggingface.co/docs/transformers/index) 是由 [Hugging Face](https://huggingface.co/) 开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。 阅读全文