又见阿郎

摘要： ## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config 阅读全文

摘要： ## 概述 HuggingFace是一个开源社区，提供了开源的AI研发框架、工具集、可在线加载的数据集仓库和预训练模型仓库。HuggingFace提出了一套可以依照的标准研发流程，按照该框架实施工程，能够在一定程度上规避开发混乱、开发人员水平不一致的问题，降低了项目实施的风险及项目和研发人员的耦合度 阅读全文

摘要： 摘要自《深入浅出Embedding》一问。具体详细内容请移步该书。 ## 概述 简单来说，嵌入是用向量表示一个物体，这个物体可以是一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影等，可以说嵌入(Embedding)涉及机器学习、深度学习的绝大部分对象。这些对象是机器学习和深度学习中 阅读全文

摘要： ## 语言模型 语言模型泛指：大语言模型LLM、通用模型GLM。 语言模型也是知识库。基于语言模型下的实现，比如ChatGPT，BERT，ChatGLM等等，这类知识库就像是已经人为处理好、编排好、可直接使用的知识库。 ## 知识图谱 知识图谱的定义由Google公司在2012年提出,被界定为用来提 阅读全文

摘要： ## 概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene Co 阅读全文

摘要： 随着AI模型的普及应用与高速发展，主要的云厂商与AI大厂提供了对应的服务支持，使得业务的应用可以轻松对接AI算法，使其在实际项目中落地。 我个人也是极度推崇在项目中应用AI算法更轻松更数智化的兑现功能。 虽然AI门槛很高，但随着时间的推移与AI模型的发展，我相信对于普通的程序猿来说，还是可以入手且实 阅读全文

摘要： 基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， 阅读全文

摘要： 从客户端会话创建到网络连接、请求处理，简单的叙述下流程与逻辑 ### 客户端 客户端是开发人员使用ZooKeeper最主要的途径，ZooKeeper的客户端主要由以下几个核心组件组成。 - ZooKeeper实例：客户端的入口。 - ClientWatchManager：客户端Watcher管理器。 阅读全文

摘要： ## 生产者确认机制 消息从生产者客户端发送至broker服务端topic，需要ack确认。`acks`与`min.insync.replicas`是两个配置参数.其中`acks`是producer的配置参数，`min.insync.replicas`是Broker端的配置参数，这两个参数对于生产者 阅读全文

摘要： 两阶段提交的成立要基于以下假设： - 该分布式系统中，存在一个节点作为协调者，其他节点作为参与者，且节点之间可以进行网络通信。 - 所有节点都采用预写式日志，且日志被写入后即被保存在可靠的存储设备上，即使节点损坏也不会导致日志数据的丢失。 - 所有节点不会永久性损坏，即使损坏后也可以恢复。 ### 阅读全文