上一页 1 2 3 4 5 6 7 ··· 79 下一页
摘要: 如何比较你不同学科成绩的好坏? 如果你看到语文78分、数学83分,第一反应可能是数学考得更好。 但不同学科的试卷难度、平均分、分数分散程度都不一样,原始分放在一起直接比,很多时候并不靠谱。 本文想聊的是:如何用描述性统计里的Z分数来比较不同学科成绩的好坏。 1. 先看问题:不同学科的原始分为什么不能直接比? 假设某次考试里,一个学 阅读全文
posted @ 2026-09-30 17:44 wang_yb 阅读(239) 评论(0) 推荐(3)
摘要: 用Pandas+Pydantic搭建数据清洗与验证管道 数据清洗是每个和数据打交道的人都绕不开的日常。 无论是做分析、跑模型,还是给业务方出报表,拿到的原始数据往往都带着重复记录、缺失值、格式错误,甚至一些明显违背常识的条目。 我以前习惯每次遇到问题就临时写几行 drop_duplicates() 或 fillna(),但下次换一份数据,同样的脏法又得重 阅读全文
posted @ 2026-09-29 12:46 wang_yb 阅读(295) 评论(1) 推荐(1)
摘要: 手把手带你走一遍:机器学习模型如何用FastAPI和Docker部署 你大概用过不少健康管理类的App——输入年龄、性别、BMI、血压,再填几项血液指标,它就能给出一个风险评分或健康提示。 这个评分背后,往往是一个训练好的机器学习模型在实时计算。 但模型在Jupyter Notebook里跑通,和让它变成成千上万用户都能调用的服务,中间隔着一条不小的鸿沟。 今天我们就 阅读全文
posted @ 2026-09-28 15:44 wang_yb 阅读(297) 评论(0) 推荐(1)
摘要: 检测数据异常值的五种统计技术 处理数据的时候,最让人头大的往往不是复杂的模型调参,而是那些藏在角落里的异常值。 你是不是也遇到过这种糟心事:明明业务逻辑看着没毛病,一跑统计指标就飘红;或者模型效果突然断崖式下跌,排查半天发现是几个极端值在捣乱。 今天我们来聊聊最常用的 5 种异常值检测方法:Z-Score、IQR、LOF、Iso 阅读全文
posted @ 2026-09-26 22:50 wang_yb 阅读(185) 评论(0) 推荐(2)
摘要: 在 DuckDB 中执行假设检验 你有没有想过,用 SQL 就能做假设检验? 今天我们就来聊聊,如何用 DuckDB 快速完成数据分析中的两个经典任务: 对分类变量做卡方检验 对连续变量做相关性分析 整个流程非常丝滑: 用 DuckDB 直接读取 CSV 或 Parquet 文件 用熟悉的 SQL 做聚合计算 把精简后的结果交给 P 阅读全文
posted @ 2026-09-24 12:18 wang_yb 阅读(134) 评论(3) 推荐(1)
摘要: 使用 DuckDB 计算描述性统计量 大家好!在本文中,我们将一起探索如何使用 DuckDB 对 CSV 数据进行常见的描述性统计计算。 无需导入库、无需创建表格,直接使用 SQL 语句就能快速对数据集进行初步分析。 我们会一起学习如何: 直接读取并查询 CSV 文件 计算数据的平均值和中位数 求出标准差与方差 找出最小值、最大值以及数 阅读全文
posted @ 2026-09-23 13:04 wang_yb 阅读(146) 评论(0) 推荐(1)
摘要: 使用 DuckDB 分析 CSV 文件 CSV 这种格式太常见了。银行导出的流水、购物平台导出的订单、自己记的账、各种后台导出的报表,基本都是 CSV。 想分析一下,用 Excel 打开大文件容易卡,用数据库又得先建表、导入,折腾一圈可能就为了看几个数。 DuckDB 可以直接读 CSV,自动推断列名和类型,然后用 SQL 查。 装完就能 阅读全文
posted @ 2026-09-22 20:15 wang_yb 阅读(230) 评论(3) 推荐(1)
摘要: 泊松分布:从基础到实际应用 做技术的应该都遇到过这种场景:服务器每分钟收到多少请求?接口一天报错几次?网站一小时来多少访客? 这些问题的共同点是:在一段固定时间里,某个事件发生了多少次。 这类数据有个特点:单次看是随机的,但拉长周期会有一个稳定的平均值。 这种场景下,泊松分布就是最合适的建模工具。 今天咱们不扯虚的,直接把这个 阅读全文
posted @ 2026-09-21 13:08 wang_yb 阅读(291) 评论(3) 推荐(7)
摘要: 使用 DuckDB 分析 Parquet 文件 上周朋友发我一个小餐馆的订单文件:restaurant_orders.parquet。 他说是外卖平台导出的,想看看总共多少单、赚了多少钱、哪个菜卖得好、大家怎么付款。 文件几百 MB,不算大,但也不想为了看几个数去折腾数据库。 我直接用了 DuckDB,它有几个好处: 不用建表,不用导入,直接 r 阅读全文
posted @ 2026-09-20 11:59 wang_yb 阅读(287) 评论(5) 推荐(3)
摘要: DuckDB + SQL 高效分析 JSON 数据 你有没有过这样的经历?从某个 API 抓下来一堆 JSON,或者从 App 里导出了自己的数据,想分析一下,结果发现 JSON 嵌套得像个迷宫。 用 Python 写脚本?可以,但写起来麻烦,调试也费劲。 用 Excel?它连嵌套的 JSON 都打不开。 这时候,DuckDB + SQL 就像一把瑞 阅读全文
posted @ 2026-09-18 14:04 wang_yb 阅读(408) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 ··· 79 下一页