1 2 3 4 5 ··· 79 下一页
摘要: 读完这本书回过头才发现, 第一篇笔记居然是 2012年8月发的, 将近一年半的时间才看完这本书(汗!!!).为了方便以后查看, 做个《Linux内核设计与实现》读书笔记 的目录:《Linux内核设计与实现》读书笔记(一)-内核简介《Linux内核设计与实现》读书笔记(二)- 内核开发的准备《Linu... 阅读全文
posted @ 2014-01-11 09:56 wang_yb 阅读(34321) 评论(12) 推荐(24)
摘要: 时间序列特征,哪些当时就能算出来 给时序模型造特征,同一列数字换个标签就能从安全变越界。 预测下一小时,t 时刻的读数能用。判定 t 小时是否异常,标签本来就是拿 t 的读数算出来的,再把 t 放进特征,等于把答案掺了进去。 本文把常见特征按「依赖到哪一刻」分一遍:只用过去的滞后与滚动值、枚举出来的组合基线、含当前读数的运行均值,最 阅读全文
posted @ 2026-11-18 09:12 wang_yb 阅读(76) 评论(0) 推荐(1)
摘要: 时间序列数据,先拆规律还是先查异常 一串按天变化的数字里,趋势、周内规律、假期等等这些起伏本来就该有。 拿整条序列的均值和标准差去查异常,它们全会被算成「离均值远」,跟设备坏掉那天的 0 混在同一个口径里。 拿一年日报把这套拆法走一遍: 把时间轴对齐到天 算趋势和星期几系数 在残差上找孤立单日和成片台阶 最后留出一周验收 这样分出来的 阅读全文
posted @ 2026-11-15 18:21 wang_yb 阅读(89) 评论(0) 推荐(0)
摘要: 收上来一堆 Excel,怎么保证没改错 收上来一堆报名表,合并、改格式、查重复、按学院拆回去,这些活手工做慢是一回事,更麻烦的是不可复现——同一堆文件,两个人合出来不一样,同一个人在不同时间合出来也不一样,而且谁都没留下上次改了什么的记录,出了错也倒不回去查。 把整套动作固化成脚本,让每一步都留下凭据:哪行来自哪份文件、改过哪些格、哪些行 阅读全文
posted @ 2026-11-13 13:26 wang_yb 阅读(261) 评论(2) 推荐(0)
摘要: 新数据到手,先跑哪几步检查 一批新数据到手,检查都会做,难在每次做得一样:想到哪几项就查哪几项,换批数据、隔段时间,顺序和阈值都变了,跑完也没留下一张能照着重来的单子。 把五步检查按固定顺序固化成一个入口,每次输出同样格式的结果单,下一批数据来了只是重跑一次。 这篇按这个顺序把五步逐个摊开:每步看哪几个数、这些数能落下什么判断 阅读全文
posted @ 2026-11-10 21:10 wang_yb 阅读(111) 评论(2) 推荐(1)
摘要: 经常听到的透视表是干什么的? 先说结论:透视表不是一种新的计算方法,它是一个把明细数据按你的要求重新排列的工具。 拿一张两万行的订单明细举例。 每一行是一个订单,你想知道华东卖了多少,就得把华东那几千行金额加起来;想知道九个城市各卖多少,就得分成九堆分别加;想知道每个城市每个品类各卖多少,就得分二十几堆。 这些"分堆再加总"的动 阅读全文
posted @ 2026-11-06 12:13 wang_yb 阅读(261) 评论(0) 推荐(0)
摘要: Pandas 与 Polars:语法、性能和资源占用方面的对比 1. 为什么要把这两个放在一起比 pandas 在 Python 里做数据处理差不多是"事实标准"了,十多年积累下来的生态和社区,几乎你搜到的教程、现成代码都是它。 Polars 是这两年冒出来的新选手,主打更快、更省内存、写法更干净。 于是很多人会纠结一个问题:Polars 到底比 pandas 阅读全文
posted @ 2026-11-02 17:58 wang_yb 阅读(158) 评论(0) 推荐(2)
摘要: 用Python DSL 写轻量数据质检工具 平时做经营分析或者跑日报,第一步往往不是画图,而是先面对一份"不太干净"的导出的明细表:重复的单号、位数对不上的手机号、莫名其妙的负数金额、格式乱掉的日期…… 在跑任何分析之前,得先确认数据靠谱。 下面介绍一种简单的做法:用几十行 Python 写一个轻量的数据质量 DSL,把校验规则写成能看懂的话 阅读全文
posted @ 2026-10-29 14:43 wang_yb 阅读(182) 评论(1) 推荐(0)
摘要: 时间序列数据中,如何找出缺失值 前段时间有位读者朋友问我一个关于如何处理时间序列数据中的缺失值问题,但是只在评论中简单回复了一下。 后来我想想,时间序列数据是一种非常常见的数据集,处理缺失值的问题可以单独聊一聊,于是,就整理了这篇文章。 我们拿到一份时间序列数据,第一步通常不是分析,而是确认它完不完整。 数值缺失好认:空值、NaN 阅读全文
posted @ 2026-10-25 14:27 wang_yb 阅读(114) 评论(0) 推荐(0)
摘要: 让 LLM 输出不再失控:用 Pydantic 校验大模型输出 你在 prompt 里写了 "请返回 JSON",模型返回的大概率不是一段干净的 JSON,而是一段话:开头一句"好的,这是抽取结果",中间一个 ```json 围栏,结尾还跟一句"希望对你有帮助"。 字段本身也未必靠谱,比如工作年限写成"五年",期望薪资写成"15k左右",偶尔还漏掉一两个 key 阅读全文
posted @ 2026-10-23 09:56 wang_yb 阅读(226) 评论(1) 推荐(0)
摘要: 使用命令行做描述性统计的技巧 拿到一份新数据,想先摸清楚:"大概是什么水平","波动大不大","有没有离谱的异常值"等。 很多人的第一反应是打开 Python,import pandas,read_csv,然后 describe()。 这当然没错,但为了几个数字去起一次环境、读一次文件,链路有点长——尤其当数据还躺在服务器上,或 阅读全文
posted @ 2026-10-20 19:31 wang_yb 阅读(98) 评论(0) 推荐(1)
1 2 3 4 5 ··· 79 下一页