导航

2025年1月13日

像搭积木一样理解AI背后的“思考”过程

摘要： 大语言模型的预训练，就像让模型玩一个“填空”游戏，模型需要预测句子中下一个会出现的词，并通过不断学习来提高预测的准确率。 picoGPT：GPT 的“迷你版”，麻雀虽小五脏俱全，一个用纯 Python 实现的极简 GPT 模型 虽然没有演示这个预训练，但是演示了推理过程，即如何基于GPT2的模型参数 阅读全文

posted @ 2025-01-13 17:18 蝈蝈俊 阅读(75) 评论(0) 推荐(0)

别再“硬扛”了！稳定性保障主导权切换硬核指南：运维 or QA，何时“换帅”才能止损？

摘要： 相信不少朋友都有过这样的经历：线上告警突如其来，团队成员立刻紧张起来，争分夺秒地排查问题、快速止损。在稳定性保障这条道路上，谁来主导，至关重要。 我曾身处美团金融团队，深知在应对大流量冲击、快速止损方面的运维主导模式的威力。那种对系统运行状态的精准把握，对预案执行的果断高效，至今历历在目。然而，最近 阅读全文

posted @ 2025-01-13 11:03 蝈蝈俊 阅读(83) 评论(0) 推荐(0)

BPE 分词器

摘要： LLMs模型是如何理解和生成文字的呢？ 这背后，一个至关重要的环节就是分词 (Tokenization)。 前面我们介绍了picoGPT：GPT 的“迷你版”，麻雀虽小五脏俱全，一个用纯 Python 实现的极简 GPT 模型。 它的目标是让学习者能够更轻松地理解 GPT 的内部工作原理。 在这个项 阅读全文

posted @ 2025-01-13 08:17 蝈蝈俊 阅读(216) 评论(0) 推荐(0)