摘要： 背景 梳理tensorflow serving的项目主要模块及其功能 梳理tensorflow serving的请求调用链路和生命周期 主要模块及其功能 apis/ 包含服务API定义和接口规范 定义了模型服务的gRPC和REST API 负责处理预测请求和响应的数据结构 core/ 项目的核心实现 阅读全文

摘要： Puzzles 8: Long softmax puzzles8是计算batch的softmax，题目如下： Softmax of a batch of logits. Uses one program block axis. Block size B0 represents the batch o 阅读全文

摘要： 背景 笔者最近在工作中需要用到一些高性能计算的优化，于是准备着手系统性进行学习。有大佬建议先从triton学起，并且推荐了triton puzzles和triton的tutorial作为入门资料。以下是我练习triton puzzles时对一些解法的分析，记录一下作为心得。 练习题库git http 阅读全文

摘要： 背景 生成式排序作为生成式模型在推荐系统中的重要应用方向，旨在通过生成式模型对用户行为序列进行建模，从而实现对用户兴趣的动态捕捉和对未来行为的准确预测。与传统基于特征工程的推荐方法相比，生成式排序模型能够更自然地处理序列数据，捕捉用户行为的长期依赖关系，并且可以自适应地更新用户兴趣表示，以适应用户兴 阅读全文

摘要： 在自然语言处理（NLP）领域，Hugging Face 是不可或缺的处理库，而 Spark 则是大数据处理的必备工具。将两者的优势结合起来，可以实现高效的 NLP 大数据处理。以下是结合 Hugging Face 和 Spark 的两种方法，基于 Spark & PySpark 3.3.1 版本进行 阅读全文

摘要： 在大数据场景下，高效地进行近似最近邻搜索（Approximate Nearest Neighbors, ANN）是许多应用的关键，如推荐系统、图像检索等。传统的单机版 HNSWlib 在处理大规模数据时速度较慢，因此我们尝试采用分布式解决方案 HNSWlib-PySpark 进行召回实验。 背景 H 阅读全文