LLM - 随笔分类 - Eslzzyl

我的 2025 大模型年度总结

摘要：本文仅供娱乐！前言很惭愧，我在 12 月的早些时候发现我已经难以离开大模型了，特别是在写作和代码方面。我会想起自己本科时的一些经历。编程：不熟悉语言时，先去官网看一遍教程，然后从浩如烟海的 Stack Overflow 帖子、GitHub issue、语言论坛、个人博客、Geeks for Ge 阅读全文

posted @ 2025-12-31 13:24 Eslzzyl 阅读(102) 评论(0) 推荐(0)

Open-AutoGLM 上手：开源的手机操作智能体

摘要：今天在 GitHub Trending 上看到的一个项目，试了一下完成度还是比较高的。 2025-12-23 更新：最近阶跃也开源了个类似的项目，简单试了一下，可能因为参数量小一些，效果不如这个。这个项目通过接入一个 GLM 微调的大模型，能够借助 adb 完成手机的自动操作，可以实现一些比较复杂阅读全文

posted @ 2025-12-12 16:11 Eslzzyl 阅读(1842) 评论(0) 推荐(0)

OpenRouter State of AI 报告总结

摘要：State of AI: An Empirical 100 Trillion Token Study with OpenRouter https://openrouter.ai/state-of-ai 这是 OpenRouter 近期在过去约一年（2024.11-2025.11）的 OpenRout 阅读全文

posted @ 2025-12-09 11:26 Eslzzyl 阅读(174) 评论(1) 推荐(0)

论文笔记：Self-Consistency Improves Chain of Thought Reasoning in Language Models

摘要：Self-Consistency Improves Chain of Thought Reasoning in Language Models http://arxiv.org/abs/2203.11171 此文已被 ICLR 2023 接收。太长不看使用 CoT 提示方法，一次性采样多条路径然阅读全文

posted @ 2025-12-01 22:17 Eslzzyl 阅读(12) 评论(0) 推荐(0)

论文笔记：DeepPrune: Parallel Scaling without Inter-trace Redundancy

摘要：DeepPrune: Parallel Scaling without Inter-trace Redundancy http://arxiv.org/abs/2510.08483 TL;DR LLM 进行并行思考时会产生很多导向相同结果的冗余路径。本文使用一个微调的 LLM 来在推理早期判断两条路阅读全文

posted @ 2025-10-15 11:05 Eslzzyl 阅读(31) 评论(0) 推荐(0)

论文笔记：Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models

摘要：http://arxiv.org/abs/2503.16419 为避免混淆，本文将 inference 翻译为推理，将 reasoning 翻译为思考。背景一些主流的 CoT 变体： Self-Consistency 采样多个思考路径，然后选择最一致的答案。 Tree-of-Thought 将思阅读全文

posted @ 2025-10-14 11:10 Eslzzyl 阅读(111) 评论(0) 推荐(0)

WSL2+lmdeploy部署大模型

摘要：我的电脑上长期运行了一个 Qwen3 4B 模型，用于沉浸式翻译和 Cherry Studio 中的话题命名以及翻译任务。在过去的约半年时间内，我一直使用 llama.cpp 来部署 Q4 量化的 GGUF 模型。最近，为了获得更好的并发性能，我计划将推理框架改为 vLLM/SGLang。我的环境阅读全文

posted @ 2025-08-13 20:42 Eslzzyl 阅读(330) 评论(0) 推荐(0)

基于 PyTorch 动手实现 LLM

摘要：本文是 Stanford CS336 课程学习记录的一部分。撰写本文时，模型尚未经过训练，尽管模块可以通过测试，但可能仍然存在一些潜在问题。本文仅供参考。概述在 CS336 课程的作业 1 中，要求我们基于 PyTorch 框架自己实现一个 Transformer 语言模型并训练它。本文记录模阅读全文

posted @ 2025-08-03 18:00 Eslzzyl 阅读(174) 评论(0) 推荐(0)

Radeon 680M 核显本地运行大语言模型

摘要：简介本文介绍（经过多次踩坑摸索出来的）在 Windows 系统、AMD Radeon 680M 核显上运行 llama.cpp 的方法。 Radeon 680M 是 AMD Ryzen 6000 系列移动处理中的中高端型号（7、9）搭载的核显： Ryzen 7 6800U: 2200 MHz Ry 阅读全文

posted @ 2025-02-09 22:00 Eslzzyl 阅读(3062) 评论(1) 推荐(1)

Continue+LLM打造本地运行的Copilot服务

摘要：简介 GitHub Copilot 已经出来很长时间了。该服务收费且在国内连接不够稳定，延迟也比较高。目前大语言模型生态蓬勃发展，已经诞生了一批专精于代码生成的大模型，例如： https://huggingface.co/mistralai/Codestral-22B-v0.1 https://hu 阅读全文

posted @ 2024-09-07 16:16 Eslzzyl 阅读(4905) 评论(0) 推荐(0)

Qwen2-72B的vLLM部署

摘要：今天尝试本地部署了 Qwen2-72B-Instruct-GPTQ-Int4 模型，这里记录一下操作的过程。参考： https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html https://docs.vllm.ai/en/stabl 阅读全文

posted @ 2024-08-24 20:46 Eslzzyl 阅读(12874) 评论(2) 推荐(0)

Linux 环境下部署 SakuraLLM

摘要：SakuraLLM 是一款适配轻小说和 GalGame 的日中翻译大语言模型。该项目的使用文档主要面向 Windows 用户，然而，大多数 GPU 服务器都运行 Linux 系统。本文将简单介绍在 Unbutu 系统中运行 SakuraLLM 的过程。本文使用的软硬件环境如下：系统：Ubunt 阅读全文

posted @ 2024-07-25 14:33 Eslzzyl 阅读(834) 评论(0) 推荐(0)

基于大语言模型的 Zotero 论文翻译方案

摘要：前言今年不少国产大模型在打价格战，有些小模型甚至免费提供 API 使用。gpt-4o-mini 的推出更是击穿了大模型 API 的底价。未来预计会出现更强大、更便宜的模型。笔者使用 Zotero 的论文翻译插件 zotero-pdf-translate 也有一段时间了，但长期以来一直使用 Goo 阅读全文

posted @ 2024-07-21 18:33 Eslzzyl 阅读(4920) 评论(0) 推荐(1)

Eslzzyl

随笔分类 - LLM