摘要:
如果你看到语文78分、数学83分,第一反应可能是数学考得更好。 但不同学科的试卷难度、平均分、分数分散程度都不一样,原始分放在一起直接比,很多时候并不靠谱。 本文想聊的是:如何用描述性统计里的Z分数来比较不同学科成绩的好坏。 1. 先看问题:不同学科的原始分为什么不能直接比? 假设某次考试里,一个学 阅读全文
如果你看到语文78分、数学83分,第一反应可能是数学考得更好。 但不同学科的试卷难度、平均分、分数分散程度都不一样,原始分放在一起直接比,很多时候并不靠谱。 本文想聊的是:如何用描述性统计里的Z分数来比较不同学科成绩的好坏。 1. 先看问题:不同学科的原始分为什么不能直接比? 假设某次考试里,一个学 阅读全文
posted @ 2026-09-30 17:44
wang_yb
阅读(239)
评论(0)
推荐(3)

数据清洗是每个和数据打交道的人都绕不开的日常。 无论是做分析、跑模型,还是给业务方出报表,拿到的原始数据往往都带着重复记录、缺失值、格式错误,甚至一些明显违背常识的条目。 我以前习惯每次遇到问题就临时写几行 drop_duplicates() 或 fillna(),但下次换一份数据,同样的脏法又得重
你大概用过不少健康管理类的App——输入年龄、性别、BMI、血压,再填几项血液指标,它就能给出一个风险评分或健康提示。 这个评分背后,往往是一个训练好的机器学习模型在实时计算。 但模型在Jupyter Notebook里跑通,和让它变成成千上万用户都能调用的服务,中间隔着一条不小的鸿沟。 今天我们就
处理数据的时候,最让人头大的往往不是复杂的模型调参,而是那些藏在角落里的异常值。 你是不是也遇到过这种糟心事:明明业务逻辑看着没毛病,一跑统计指标就飘红;或者模型效果突然断崖式下跌,排查半天发现是几个极端值在捣乱。 今天我们来聊聊最常用的 5 种异常值检测方法:Z-Score、IQR、LOF、Iso
你有没有想过,用 SQL 就能做假设检验? 今天我们就来聊聊,如何用 DuckDB 快速完成数据分析中的两个经典任务: 对分类变量做卡方检验 对连续变量做相关性分析 整个流程非常丝滑: 用 DuckDB 直接读取 CSV 或 Parquet 文件 用熟悉的 SQL 做聚合计算 把精简后的结果交给 P
大家好!在本文中,我们将一起探索如何使用 DuckDB 对 CSV 数据进行常见的描述性统计计算。 无需导入库、无需创建表格,直接使用 SQL 语句就能快速对数据集进行初步分析。 我们会一起学习如何: 直接读取并查询 CSV 文件 计算数据的平均值和中位数 求出标准差与方差 找出最小值、最大值以及数
CSV 这种格式太常见了。银行导出的流水、购物平台导出的订单、自己记的账、各种后台导出的报表,基本都是 CSV。 想分析一下,用 Excel 打开大文件容易卡,用数据库又得先建表、导入,折腾一圈可能就为了看几个数。 DuckDB 可以直接读 CSV,自动推断列名和类型,然后用 SQL 查。 装完就能
做技术的应该都遇到过这种场景:服务器每分钟收到多少请求?接口一天报错几次?网站一小时来多少访客? 这些问题的共同点是:在一段固定时间里,某个事件发生了多少次。 这类数据有个特点:单次看是随机的,但拉长周期会有一个稳定的平均值。 这种场景下,泊松分布就是最合适的建模工具。 今天咱们不扯虚的,直接把这个
上周朋友发我一个小餐馆的订单文件:restaurant_orders.parquet。 他说是外卖平台导出的,想看看总共多少单、赚了多少钱、哪个菜卖得好、大家怎么付款。 文件几百 MB,不算大,但也不想为了看几个数去折腾数据库。 我直接用了 DuckDB,它有几个好处: 不用建表,不用导入,直接 r
你有没有过这样的经历?从某个 API 抓下来一堆 JSON,或者从 App 里导出了自己的数据,想分析一下,结果发现 JSON 嵌套得像个迷宫。 用 Python 写脚本?可以,但写起来麻烦,调试也费劲。 用 Excel?它连嵌套的 JSON 都打不开。 这时候,DuckDB + SQL 就像一把瑞
浙公网安备 33010602011771号