摘要： moe(混合专家模型) 作为一种基于 Transformer 架构的模型，混合专家模型主要由两个关键部分组成: 稀疏 MoE 层: 这些层代替了传统 Transformer 模型中的前馈网络 (FFN) 层。MoE 层包含若干“专家”(例如 8 个)，每个专家本身是一个独立的神经网络。在实际应用中， 阅读全文

摘要： Decoder-Only 大模型推理机制详解：从 KV Cache 原理到 HuggingFace 实现 引言 在当前主流的大语言模型（LLM）架构中，Decoder-Only 模型（如 GPT 系列、LLaMA、Mistral 等）已成为自然语言生成任务的基石。这类模型的核心能力是自回归生成文本— 阅读全文

摘要： Web服务器与Web框架关系详解及动态资源处理实现方式 一、Web服务器与Web框架的关系 1. Web服务器是什么？ Web服务器是接收HTTP请求并返回响应内容的程序。它可以： 接收用户的HTTP请求（GET、POST等） 根据请求路径判断是静态资源还是动态资源 对于静态资源：直接从本地文件系统 阅读全文

摘要： HTTP 协议与简易 Web 服务器开发笔记（补充版） 一、HTTP 协议概述 1. TCP 协议 是大多数网络应用之间通信的底层协议。 提供可靠的点对点连接，确保数据包按序到达。 2. HTTP 协议的作用 特指浏览器和服务器之间的数据通信格式。 规定了浏览器与服务器之间 send 和 recv 阅读全文

摘要： TCP网络编程学习笔记（完整版） 一、网络基础概念 1. IP地址 作用：在网络中唯一标识一台设备 查看方式： Windows系统使用命令：ipconfig Linux/Mac系统使用命令：ifconfig 测试网络连通性：使用 ping [IP地址] 命令 本机回环地址：127.0.0.1，用于本 阅读全文

摘要： 🧩 多任务编程基础 ✅ 什么是多任务？ 多任务是指在同一时间段内执行多个任务。其核心目的是： 提高 CPU 使用率 提升程序执行效率 更好地响应用户交互或外部事件 🔁 并发 vs 并行 类型 定义 适用场景 并发 在一段时间内交替执行多个任务（单核 CPU） 单核处理多个任务 并行 在同一时刻执 阅读全文

摘要： 加密与编码流程详解 为什么要加密与编码？ 在现代 Web 应用中，为了防止数据被非法获取或篡改，服务器与客户端之间的通信通常会使用加密和编码的方式进行保护。尤其是在电商、金融、社交等敏感场景下，这种做法尤为重要。 当你第一次访问某个网站时，服务器会下发一段 JavaScript 代码（通常是通过 < 阅读全文

摘要： 🐍 Python 爬虫入门笔记 一、Requests 模块（发送 HTTP 请求） ✅ 基本概念 requests 是一个用于发送 HTTP 请求的第三方库，遵循 HTTP 协议，通过构造请求头和请求体，向服务器发起请求并获取响应结果。 ✅ 发送 GET 请求 import requests ur 阅读全文

摘要： python 多线程 和 协程 线程 和 协程对比表格 特性 传统线程（Thread） 异步协程（async/await, asyncio） 调度者 操作系统内核 用户程序（事件循环） 切换开销 高（上下文切换由 OS 完成） 低（在同一个线程中手动切换） 并行能力 多线程并行执行（依赖 CPU 核 阅读全文

摘要： Transformer 比较卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）。值得注意的是，自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。 对比之前仍然依赖循环神经网络实现输入表示的自注意力模型(Che 阅读全文