摘要：
| 本站链接 | 标签 | 归档 | 笔记 | 随笔 | 杂的文 | 留言板 | 相册 | :postbox:关于 | | : : | : : | : : | : : | : : | : : | : : | : : | : : | | Code | modelscope | huggingface 阅读全文
posted @ 2021-01-20 16:03
Xu_Lin
阅读(168)
评论(0)
推荐(1)
摘要：
SparkLM 模型架构文档 SparkLM-31M · Dense + MoE + MTP + MLA/GQA/SAHA + ECKVC + CRS 全组件架构总览 目录 图 1 · 整体架构总览 图 2 · MLA (Multi-head Latent Attention) 内部结构 图 3 · 阅读全文
posted @ 2026-07-07 02:05
Xu_Lin
阅读(2)
评论(0)
推荐(0)
摘要：
SparkLM 31M 全配置消融实验深度分析报告 数据集：TinyStories 中英文混合 (1.6 GB, ~1.6B tokens) | Tokenizer：SimpleTokenizer (byte-fallback 中文支持) 训练：2000 steps × batch=32 × seq 阅读全文
posted @ 2026-07-06 23:52
Xu_Lin
阅读(2)
评论(0)
推荐(0)
摘要：
OpenSeek-100B 预训练数据集分布分析报告 数据集: BAAI/OpenSeek-Pretrain-100B 版本: v1.0 基础来源: CCI4.0-M2 v1 报告日期: 2025-07-05 数据规模: 79 个条目 | 109.73B Tokens | 11 大 Domain 目 阅读全文
posted @ 2026-07-05 19:09
Xu_Lin
阅读(6)
评论(0)
推荐(0)
摘要：
The Cauldron 数据集分布分析报告 数据集: HuggingFaceM4/the_cauldron 用途: Idefics2 视觉-语言模型微调训练数据 报告日期: 2025-07-05 数据集规模: 50 个子数据集 | 1,880,992 样本 | 424.6 GB 目录 执行摘要 数 阅读全文
posted @ 2026-07-05 18:35
Xu_Lin
阅读(4)
评论(0)
推荐(0)
摘要：
原生 Native 多模态 Agentic AI 深度专题调研报告 (2024-2026) 1. 执行摘要 2024 至 2026 年，人工智能领域最深刻的架构变革之一，是多模态系统从"模块化拼接"向"原生一体化"的范式转移。原生多模态（Native Multimodal）Agentic AI 摒弃 阅读全文
posted @ 2026-05-29 15:37
Xu_Lin
阅读(266)
评论(0)
推荐(0)
摘要：
Codex 安装与配置指南 OpenAI Codex 完整使用说明书 概述 本指南将引导您完成 Codex 的注册、安装与配置全流程，分为以下三个主要步骤： 注册账号并获取 API 密钥 安装 Codex 命令行工具 配置 Codex 连接自定义服务 ⚠️ 提示：如果您已安装 Codex，可跳过第二 阅读全文
posted @ 2026-05-11 23:58
Xu_Lin
阅读(1878)
评论(0)
推荐(0)
摘要：
YOLO十年进化：从速度与激情到未来与前沿 YOLO十年进化：从速度与激情到未来与前沿 一、YOLO十年进化全景速览 自2015年YOLOv1横空出世，将目标检测重塑为单一的回归问题并首次实现真正的实时性能以来，YOLO系列模型开启了一段持续十年、波澜壮阔的技术演进之旅。这段旅程并非简单的版本迭加， 阅读全文
posted @ 2026-04-28 16:33
Xu_Lin
阅读(192)
评论(0)
推荐(1)
摘要：
在参数高效微调（PEFT）领域，LoRA 及其衍生方法通过低秩矩阵分解大幅降低了大模型微调成本。LoRA 是基础方法，以低秩乘积逼近权重更新，简单高效；LoHA 与 LoKr 分别利用 Hadamard 积与 Kronecker 积重构更新矩阵，在相同参数量下获得更高的理论秩；DoRA 将权重分解为 阅读全文
posted @ 2026-04-28 16:16
Xu_Lin
阅读(189)
评论(0)
推荐(0)
摘要：
从DeekSeek V3到V4：技术路线演进、性能提升与创新突破 一、DeepSeek-V3 核心架构与训练策略 DeepSeek-V3 是一个拥有 671B（6710亿） 总参数的混合专家（MoE）模型，其核心设计遵循 高总参、低激活 的经济高效原则，每个 Token 仅激活 37B（370亿） 阅读全文
posted @ 2026-04-24 15:41
Xu_Lin
阅读(178)
评论(0)
推荐(0)
摘要：
其他 待更新 LLamafactory贡献 https://github.com/hiyouga/LlamaFactory/releases/tag/v0.9.4 以上 阅读全文
posted @ 2026-01-01 00:49
Xu_Lin
阅读(61)
评论(0)
推荐(0)
摘要：
环境与设备配置：H20*8(96G) MODEL_ID=Qwen/Qwen3-VL-30B-A3B-Instruct MODEL_NAME=Qwen3-VL-30B-A3B-Instruct python3 -m vllm.entrypoints.openai.api_server \ --mode 阅读全文
posted @ 2025-10-11 18:29
Xu_Lin
阅读(2797)
评论(3)
推荐(0)
摘要：
1、https://github.com/yaof20/Flash-RL 🔗 GitHub：https://github.com/yaof20/Flash-RL 🔗 Blog：https://fengyao.notion.site/flash-rl 2、verl by 字节：https://gi 阅读全文
posted @ 2025-08-13 15:55
Xu_Lin
阅读(275)
评论(0)
推荐(0)
摘要：
项目快速启动 1.运行环境 首先，确保你的开发环境已安装 Git 和 Python 3.7 及以上版本。接下来，通过以下命令克隆安装项目： 建议Python使用3.7及以上，这里用的是3.11； 建议预先安装Pytorch、Transformers、flash-attn等基础Python库，避免冲突 阅读全文
posted @ 2025-08-06 00:00
Xu_Lin
阅读(1012)
评论(0)
推荐(0)
摘要：
【vibe coding】AI IDE配置 Cursor windsurf Trae codeBunny Argument Claude-code gemini-cli qwen-code iflow cursor windsurf trae codebunny gemini-cli qwen if 阅读全文
posted @ 2025-08-01 17:54
Xu_Lin
阅读(124)
评论(0)
推荐(0)
摘要：
1. 对于不具备多模态能力的大模型，有哪些方式可以让之得到多模态感知能力？哪一种效果最好？ 常见方式有： Adapter/Prompt Tuning（适配器/提示微调） 在原有大模型（如LLM）前面加上专门的多模态适配器（如视觉编码器），将图片、音频等模态的信息编码为文本token或embeddin 阅读全文
posted @ 2025-07-31 19:49
Xu_Lin
阅读(659)
评论(0)
推荐(0)
摘要：
OpenSeek 致力于联合全球开源社区，推动算法、数据和系统方面的协作创新，目标是开发超越 DeepSeek 的下一代模型。 📌 项目概况 OpenSeek 是由北京人工智能研究院 （BAAI） 发起的开源项目，旨在联合全球开源社区，推动算法、数据和系统方面的协作创新，开发超越 DeepSeek 阅读全文
posted @ 2025-06-27 16:09
Xu_Lin
阅读(164)
评论(0)
推荐(0)
摘要：
视觉语言模型 2025：更好、更快、更强 动机 视觉语言模型（VLMs）已成为当今人工智能领域的热门话题。自2024年4月的前一篇博客文章以来，该领域发生了巨大变化。模型变得更小但更强大，出现了新的架构和能力（推理、代理、长视频理解等）。与此同时，诸如多模态检索增强生成（RAG）和多模态代理等全新范 阅读全文
posted @ 2025-06-20 17:34
Xu_Lin
阅读(3026)
评论(0)
推荐(1)
摘要：
二、大模型的数据 2.1用来训练大模型的开源数据集有哪些(9)？ 训练大语言模型（LLM）和其他大模型（如图文多模态模型）需要海量、多样化的高质量数据。开源社区贡献了许多宝贵的数据集，覆盖文本、代码、多模态等不同领域。以下是一些重要且常用的开源数据集分类整理： 🧀 一、大规模通用文本数据集（预训练 阅读全文
posted @ 2025-06-04 21:03
Xu_Lin
阅读(988)
评论(0)
推荐(0)
摘要：
Lemon提供macOS和Windows桌面应用程序，可在我们的官方网站上下载：www.lemonai.cc。 Lemon是一个开源的通用AI Agent，能够自动化从需求规划到结果交付的整个过程。它能够独立思考和系统规划，在虚拟环境中灵活调用各种工具，如编写和执行代码，智能浏览网页，操作Web应用 阅读全文
posted @ 2025-06-02 21:36
Xu_Lin
阅读(622)
评论(0)
推荐(0)
摘要：
一、语义表达 1.1词向量如何建模语义信息？稀疏词向量和稠密词向量有什么区别(1)？ 词向量（Word Embedding）通过将自然语言中的词语映射到低维连续向量空间中，从而建模语义信息。其核心思想是：语义相似的词语在向量空间中距离更近，并通过向量间的几何关系（如方向、距离）反映语义关联。以下是词 阅读全文
posted @ 2025-05-26 11:51
Xu_Lin
阅读(1058)
评论(0)
推荐(1)
浙公网安备 33010602011771号