icuic

摘要： Transformer、BERT 和 GPT 不完全是平级的概念。 更准确地说： Transformer 是基础架构或架构家族；BERT 和 GPT 是基于 Transformer 发展出来的具体模型系列。 可以理解成下面的关系： flowchart TB T[Transformer 架构家族] T 阅读全文

摘要： Transformer 是现代深度学习中最重要的模型架构之一。 机器翻译、文本分类、智能问答、代码生成、大语言模型，甚至图像识别、语音处理和多模态模型，都在大量使用 Transformer。 我们熟悉的 BERT、GPT、T5、ViT 等模型，虽然用途不同，但都建立在 Transformer 的基本 阅读全文

摘要： 如果你刚开始学习深度学习，第一次听到“注意力机制”（Attention Mechanism）时，可能会觉得这个名字有些抽象。 它听起来像心理学概念，但在深度学习里，注意力机制其实是在解决一个非常朴素的问题： 当信息很多时，模型应该重点关注哪些部分？ 人类在处理信息时并不会平均关注所有东西。比如你在一 阅读全文

摘要： 在学习 Transformer 的自注意力机制时，一个很容易让人困惑的问题是： Self-Attention 明明可以让每个 token 关注序列中的其他 token，为什么还需要位置编码？ 原因在于：Self-Attention 本身并不知道 token 的顺序。 位置编码的作用，就是给每个 to 阅读全文

摘要： 学习 RNN 时，最重要的不是一开始就陷入代码细节，而是先理解它到底想解决什么问题。 普通神经网络通常假设每个输入样本相互独立。例如输入一张图片，模型输出一个类别；输入一组特征，模型输出一个预测值。但序列数据不同，当前时刻的内容往往依赖之前的历史。 例如在语言模型中，模型看到： 我 今天 想 去 它 阅读全文

摘要： 买了会员之后，一直在用 Codex，却忘了还有 ChatGPT Images 2.0 这一神器。 天涯思君不可忘 字作丧乱意彷徨 宝刀百炼生玄光 皓臂似玉梅花妆 浮槎北溟海茫茫 阅读全文

摘要： 最近我使用 Windows 桌面版 Codex 远程连接 Ubuntu 云服务器，切换账号时遇到了报错，在此记录问题、原因以及完整的解决办法。 一、问题场景 原有 Codex 账号额度耗尽，于是我在Windows 本地桌面端执行了退出登录，随后登录了新账号。 完成切换后，连接上 Ubuntu 云服务 阅读全文

摘要： 最近自己做了一个面试准备小工具，想找一些朋友试用一下。 它的思路很简单： 把职位 JD 粘进去，也可以补充一小段简历内容，它会自动生成一套面试准备清单，包括： 可能会被问到的问题 参考回答 可播放的语音，方便跟读练习，这对全英文面试尤其实用 还可以继续让 AI 修改回答 比较适合这些场景： 准备英文 阅读全文

摘要： 最近，我把自己做的视频翻译配音系统 VDub，接进了微信和 OpenClaw。 使用方式很简单：我只需要在微信里发一个或一批 YouTube 链接，后面的事情就会自动完成。 最后得到的是 B站 稿件：里面既有英文原声版，也有中文配音版。 原来需要手动下载、翻译、配音、合成、上传、填写标题简介、发布的 阅读全文

摘要： 最近在做一个结合强化学习、嵌入式部署和机器人控制的项目，目标是把训练得到的控制策略部署到 STM32H747I-DISCO，并进一步控制 Petoi 机器狗。 项目开发过程中，我遇到一个很现实的问题：我的 Codex 工作环境主要运行在云服务器上，但硬件设备却连接在我本地的一台 Ubuntu 服务器 阅读全文