Groot_Liu

2025年12月8日

摘要：在 “Attention Is All You Need” 这篇论文中，我们了解了注意力机制的三个关键矩阵：Q (Query)、K (Key) 和 V (Value)。在标准的注意力计算流程中，核心步骤包括计算注意力得分矩阵 \(S=QK^T\) 以及 Softmax 后的概率矩阵 \(P\)。当阅读全文

posted @ 2025-12-08 14:49 Groot_Liu 阅读(2) 评论(0) 推荐(0)

pybind11（二）：使用矩阵类演示 C++ 类的 Python 绑定方法

摘要：前面的文章主要介绍了如何在 Python 中调用简单的 C++ 函数，而本篇文章将进一步探讨如何在 Python 中使用 C++ 定义的类及其成员函数。本文将分别在 C++ 和 Python 中实现一个矩阵类，并为其编写矩阵乘法的成员函数。最后，我们将把两种实现与 NumPy 的矩阵乘法进行性能对比阅读全文

posted @ 2025-12-08 14:38 Groot_Liu 阅读(2) 评论(0) 推荐(0)

pybind11（一）：从零构建你的第一个 Python 可调用 C++ 模块

摘要： pybind11 的作用鉴于 Python 脚本的运行速度相对较慢，而 C++ 具有显著的性能优势，Pybind11 成为了解决 Python 性能瓶颈的关键工具。它允许 Python 代码无缝调用高性能的 C++ 程序，从而大幅提升脚本的执行效率。此外，Pybind11 还提供了双向互操作性，支阅读全文

posted @ 2025-12-08 14:35 Groot_Liu 阅读(3) 评论(0) 推荐(0)

2025年11月25日

LLaMA-Factory 微调模型一

摘要：数据集选择想要微调模型，首先就需要有合适的数据。本次微调模型的目标是训练出一个适合本地部署的翻译模型，因此我选用这个数据集： WMT-Chinese-to-English-Machine-Translation-Training-Corpus 但是因为使用的微调工具是 LLaMA-Factory，阅读全文

posted @ 2025-11-25 15:49 Groot_Liu 阅读(16) 评论(0) 推荐(0)

MacOS 本地部署 Ollama

摘要：什么是 Ollama? Ollama 是一款开源工具，能够帮助非技术用户以最便捷的方式在本地运行大语言模型（Large Language Model, LLM）。它具有系统资源占用少、API 设计简洁易用的优点。此外，Ollama 官方还提供了一系列预训练好的大模型，这些模型已进行适当量化，用户可直阅读全文

posted @ 2025-11-25 15:48 Groot_Liu 阅读(45) 评论(0) 推荐(0)

如何构建自己的MCP Server？——使用 VSCode 的 Copilot 集成 MCP

摘要：角色 MCP Server：轻量级程序，通过标准的 Model Context Protocol 提供特定能力是执行具体操作的工具。例如：天气爬虫、数据库查询工具、文件读写工具、计算器等等。它不知道也不关心大模型的存在，它只负责接收标准的 MCP 请求并返回结果。 MCP Client：维护与阅读全文

posted @ 2025-11-25 15:46 Groot_Liu 阅读(237) 评论(0) 推荐(0)

2025年9月2日

浮点数及其在 AI 中的应用

摘要：小数在计算机系统中的表示在计算机发展的过程中出现了两种小数的表示形式：定点数与浮点数，但是这两种表示形式并不能与数学里的实数划等号，实数的范围是无限的，而作为计算机对数值的存储格式，定点数和浮点数是有限的，二者都是对实数集有限并且离散的近似。定点格式通过固定小数点的预设位置来定义数值，而浮点格式阅读全文

posted @ 2025-09-02 16:24 Groot_Liu 阅读(122) 评论(0) 推荐(0)

2025年8月26日

virtio 学习随笔 —— 六、virtio后端硬件化加速框架vDPA

摘要：六、virtio后端硬件化加速框架vDPA 参考文档： Achieving network wirespeed in an open standard manner: introducing vDPA vDPA - virtio Data Path Acceleration vDPA support 阅读全文

posted @ 2025-08-26 10:37 Groot_Liu 阅读(135) 评论(0) 推荐(0)

virtio 学习随笔 —— 五、SR-IOV加速虚拟机网络

摘要：五、SR-IOV加速虚拟机网络参考文档： Achieving network wirespeed in an open standard manner: introducing vDPA 单根 I/O 虚拟化 (SR-IOV) 概述在使用 vhost-net/virtio-net 架构或 vho 阅读全文

posted @ 2025-08-26 10:36 Groot_Liu 阅读(56) 评论(0) 推荐(0)

virtio 学习随笔 —— 四、virtio设备发现以及枚举

摘要：四、virtio设备发现以及枚举 Linux Kernel: v2.6.15 virtio总线 virtio总线是一个虚拟总线，物理上并不存在，该总线为virtio设备提供统一的管理、探测、注册以及匹配的抽象层，所有的virtio设备都会通过这个总线进行设备匹配与驱动绑定。 virtio bus + 阅读全文

posted @ 2025-08-26 10:35 Groot_Liu 阅读(56) 评论(0) 推荐(0)

公告