MonkeyCode搞定前端工程化：从Vue3项目搭建到CI/CD部署
前端工程化的痛点 每个前端项目都会遇到这些问题： 依赖版本冲突（同事A的node_modules能跑，B的跑不起来） 构建速度慢（每次npm run build要等3分钟） 代码风格不统一（Prettier和ESLint打起来了） 部署到测试环境需要手动scp 这篇文章用MonkeyCode生成完整 ...
深度学习进阶（二十五）RoPE：现代 NLP 的位置编码范式
上一篇我们回到 Swin 补上了它的二维 RPE 方案，用紧凑偏置表实现了高效的二维相对位置编码。 至此，从 Shaw 的加法型、Transformer-XL 的四项重构式、再到 T5 的偏置型，Swin 的二维扩展，每种方案都在尝试不同的方法来实现 RPE。 最终，在 NLP 这个 RPE 的"原 ...
用MonkeyCode做Git集成：从克隆到提交的全流程
用MonkeyCode做Git集成：从克隆到提交的全流程 为什么要用Git集成 以前用AI编程工具，最大的痛点是：代码写完了，还要手动复制到本地、提交到Git、创建PR。 现在MonkeyCode直接集成了GitHub/GitLab/Gitea/Gitee，可以： 直接从仓库克隆代码 在网页端提交c ...
2026 成都手表回收市场测评，收的顶规范计价交易安心稳妥
手表不仅是精密时计，更承载着价值与情感。随着消费观念升级，闲置手表回收需求日益增长，但市场信息不对称、套路频发等问题困扰着消费者。2026年成都手表回收市场涌现出多家专业机构，以规范化服务重塑行业标杆。本文以第三方视角测评主流回收平台，解析其优势，助力消费者安心变现。 一、手表回收市场现状：规范与风 ...
AI写作争议：诺贝尔文学奖得主也用AI？
AI写作争议：诺贝尔文学奖得主也用AI？ 2026年5月，诺贝尔文学奖得主奥尔加·托卡尔丘克的一段采访视频在社交媒体上广泛传播。视频中，这位作家称在创作最新小说时会和人工智能"对话"。这一表述迅速被部分网友解读为"承认使用AI参与文学创作"，随后，托卡尔丘克通过出版商回应这是"误解"。然而，围绕AI ...
高光谱拼接算法（二）Harris 角点探测
本篇算法仓位：harris 1. 拼接算法现状 首先先需要说明的是，不同于我们之前介绍的 CV 和 NLP，在这些领域中，DL 方法已经成为绝对主流，传统机器学习和统计学方法更多只作为思想上的参考。 其根本原因还是我们之前提到过的： DL 本质上是数据驱动的方法，而这些领域恰恰拥有海量数据，从而使模 ...
高光谱拼接算法（一）扫推式成像和航带拼接算法
新分类，不再只说纯理论了，我同步维护一个 github 仓库，也方便自己跑跑代码，有兴趣可以关注一下。 1. 扫推式成像 （Push broom Imaging） 在之前的 光谱融合中提到过，现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。 概括来说可以理解为相机里的二维传感器难以完整采集 ...
深度学习进阶（二十四）Swin 的二维 RPE
上一篇我们介绍了 T5 的偏置型 RPE，仅仅使用一个标量偏置，配合分桶策略，就用极低的复杂度实现了 NLP 的高效位置编码。 而下一个问题就是： 一维序列上的标量偏置，到了二维图像上要怎么做？ 这一篇我们来补上之前的 Swin Transformer 中一个当时没有展开的细节：二维 RPE。 1. ...
深度学习进阶（二十三）偏置型 RPE
上一篇我们介绍了 T5 的主干逻辑，实际上，T5 的核心理念可以概括为“统一、简化” 。 那么问题来了： 一个追求统一和简洁的框架，会选择什么样的位置编码？ 最终，T5 没有走 Transformer-XL 的四项重构路线，也没有沿用原始的加法型 RPE，而是提出了一种极简的方案：偏置型 RPE。 ...
深度学习进阶（二十二）T5：NLP任务的首次大一统
上一篇我们完整展开了 Transformer-XL 的四项重构式 RPE，它通过把内容和位置分开建模，让位置信息真正参与到了注意力计算中。 但看完那个复杂的公式后，有这样一个问题： 为了位置信息，我们真的需要把自注意力拆成四项吗？ 这并非无端质疑， 2020 年的论文： Exploring the ...
深度学习进阶（二十一）跨窗口的 RPE
上一篇我们介绍了 Transformer-XL 的段级递归和记忆缓存机制，也留下了一个问题： Memory 让不同 segment 可以互相看到，但配套的位置编码逻辑却并不完善。 这一篇就来展开 Transformer-XL 配套的改进方案：跨窗口的相对位置编码。 1. 为什么要提出跨窗口的 RPE ...
深度学习进阶（二十）Transformer-XL
在[上一篇]中，我们提到 RPE 提出后出现了分裂式的发展趋势，而按时间来讲，对 RPE 的初次改进出自 19 年的论文： Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context ，即超长上下文的 Transfo ...
深度学习进阶（十九）相对位置编码 RPE
上一篇我们介绍了坐标注意力 CA，它通过沿两个方向分别池化来保留空间位置信息。 同样，我们可以总结一下它实现混合注意力的逻辑： CA 的做法本质上是一种隐式编码，它通过池化整合空间特征，学习权重并注入的逻辑让模型间接感知到空间信息，实现混合注意力。 如果再站高点，我们会发现一个更基础的问题： 模型究 ...
"CREAD: A Classification-Restoration Framework with Error Adaptive Discretization for Watch Time Prediction in Video Recommender Systems" 论文笔记
快手视频观时预测的工作 CREAD，发表于 AAAI 2024，深入分析了分桶策略，在理论上是一篇很棒的工作 背景 观看时长预测本质上是个回归问题，但它的标签分布通常极其长尾：大量样本集中在很短的时长（比如 3 秒内占 30%），而长时长的样本非常稀疏。这种不平衡性让直接做回归很难，模型容易被头部样 ...
"A Deep Probabilistic Model for Customer Lifetime Value Prediction" 论文笔记
谷歌非常经典的一篇 LTV 预测的工作 ZILN Loss，挂在了 Arxiv 上并未发表，用一个混合损失解决大量零值和高偏态连续值的数据分布问题 背景 现有 LTV 预测工作主要分为两种：一种是直接基于 MSE 建模 LTV；一种是两阶段建模，先用 BCE 建模付费概率，然后用 MSE 建模付费金 ...
深度学习进阶（十八）坐标注意力 CA
上一篇我们介绍了 ECA，它用一维卷积替代了 SE 中的 MLP bottleneck，用更少的参数实现了更好的通道注意力。 但实际上，这套框架里还有别的优化空间： 在前面的内容里，无论是 SE 、 CBAM 还是 ECA ，它们的通道注意力子模块第一步都是 全局平均池化（CBAM 额外加入了最大池 ...
"Deconfounding Duration Bias in Watch-time Prediction for Video Recommendation" 论文笔记
快手视频观时预测的工作 D2Q，发表于 KDD 2022，用直观有效的分桶方式解决观时预测的 duration bias，这么多年了依旧是线上最能打的工作 背景 观看时长（watch time）是视频推荐中的重要指标之一，提升整体观看时长是视频推荐系统的主要目标。观看时长主要受两个因素的影响：用户是 ...
深度学习进阶（十七）高效通道注意力 ECA
上一篇我们介绍了 CBAM，它在 SE 的基础上加入了空间注意力，形成了"通道 + 空间"的混合注意力机制。 我们发现，无论是 SE 还是 CBAM，它们的通道注意力子模块都采用了一个 bottleneck 结构的 MLP，即先将通道维度从 \(C\) 压缩到 \(C/r\)，再升维回 \(C\)。 ...
深度学习进阶（十六） 混合注意力 CBAM
上一篇我们介绍了 SE 模块，从通道维度引入了注意力机制，让网络能够自适应地调整每个通道的权重。 再结合之前的相关内容，现在我们已经对通道维度和空间维度上的注意力逻辑都有所了解了，显然二者并不冲突，反而是相辅相成的，因此一个想法自然就出现了： 组合应用通道注意力和空间注意力，实现混合注意力机制。 沿 ...
深度学习进阶（十五）通道注意力 SE
至此，在之前的内容里，我们已经介绍了传统卷积网络和 Transformer 架构两条路线在 CV 任务中的发展研究。 实际上，我们可以这样总结一下： 无论是 Transformer 的注意力机制，还是 CNN 的诸多创新，它们其实都在回答同一个问题：模型应该关注哪里（空间）和关注什么（通道）。 也可 ...
