摘要:
做特征工程时很多人有一套固定动作:StandardScaler 然后 fit_transform。(也就是先标准化数据,在训练模型) 这在教科书数据集上没问题,但真实数据,比如订单金额、页面停留时长、接口耗时等,几乎天然右偏,还总混着几个离谱的值。 StandardScaler 拿均值和标准差当尺子 阅读全文
做特征工程时很多人有一套固定动作:StandardScaler 然后 fit_transform。(也就是先标准化数据,在训练模型) 这在教科书数据集上没问题,但真实数据,比如订单金额、页面停留时长、接口耗时等,几乎天然右偏,还总混着几个离谱的值。 StandardScaler 拿均值和标准差当尺子 阅读全文
posted @ 2026-10-17 15:51
wang_yb
阅读(111)
评论(0)
推荐(1)

很多人第一次写 AI Agent,写完都有点失望。 代码确实能跑,模型也确实在说话,但往下走两步就露馅了: 返回的是一段字符串,你得自己 json.loads(),还得写一堆兜底防止它今天返回 JSON、明天返回 Markdown; 想让它查你自己的数据,就得手写一个 prompt 解释"我有个函数
用 NumPy 写代码的人很多,但很多人写出来的代码还是慢。 原因通常只有一个:虽然用了 NumPy 的数组,但逻辑上还是在一行一行地 for 循环。 NumPy 快的根源在于底层调用的是 C 和 Fortran 的优化库,能一次性处理整个数组——前提是你得把循环改成向量化操作。 这需要的不是背 A
Manim Community Edition 在 2026 年 10 月 8 日发布了 v0.22.0。 这个版本的主线不太显眼,但对日常使用影响很大:它没有堆多少新动画,而是把命令行上堆积多年的输出开关、跑偏的渲染生命周期、以及小字号排版错乱的老问题,一次性清了一遍。 代价是破坏性变更不少,尤其
做机器学习的时候,你大概率会遇到这样一个场景:手头的数据集特征太多,几十甚至上百个维度,训练模型慢得要命,还容易过拟合。 你心里清楚不是所有特征都有用,但到底哪些该留、哪些该砍,一时又说不上来。 主成分分析(PCA)就是用来解决这个问题的。 它的思路很直接——与其在原始特征里挑挑拣拣,不如把数据投影
做数据科学和机器学习,范数(Norm)这个东西你迟早会碰到。 损失函数正则化、向量相似度计算、矩阵分解——这些场景背后都有范数的影子。 但很多同学对范数的理解停留在"好像是个求长度的东西"这个层面,具体怎么算、不同范数之间有什么区别,一问就含糊了。 其实范数没那么抽象,用 NumPy 的 linal
做数据工程的人大概都有过这样的经历:每天到工位第一件事,打开终端敲几条 SQL,看看关键表的行数是不是正常、最新数据更新到几点了、字段空值有没有突然飙高。 这套检查做完,可能半个小时就过去了。 如果某天查出来有问题,还得翻日志、查上下游、挨个通知相关的人。 这些任务虽然不复杂,但琐碎且需每天重复。
数据工程师每天打交道的东西,很大一部分是文本: 应用日志 Nginx access log CSV 里混着脏数据的字段 API 返回的 JSON 片段 配置文件 爬下来的 HTML 这些文本往往不是完全结构化的,或者格式五花八门,用传统的 split、replace 处理起来很累,写一堆条件判断也不
时间序列数据里,趋势、周期和随机波动经常是混在一起的。 直接看原始曲线,很容易被短期波动带偏,比如把一次促销当成长期增长,或者把季节性回落当成业务衰退。 时间序列分解要解决的就是这个问题,把一条看起来乱七八糟的曲线拆成几个更有解释性的部分,让我们分别看: 长期方向 重复周期 剩下的随机噪声。 本文的
时间序列分析听起来有点学术,但其实干起来挺直接的。 你有一串按时间排列的数据,想知道里面有没有趋势、有没有周期性、噪声有多大,或者两个序列之间有没有延迟关系。 SciPy 这个库在信号处理、统计检验方面提供了不少现成的工具,配合 Matplotlib 画图,基本能覆盖日常分析的大部分需求。 本文不是
浙公网安备 33010602011771号