千里之行，始于足下

摘要： curd-gen 项目 ​ curd-gen 项目的创建本来是为了做为 illuminant 项目的一个工具，用来生成前端增删改查页面中的基本代码。 ​ 最近，随着 antd Pro v5 的升级，将项目进行了升级，现在生成的都是 ts 代码。 这个项目的自动生成代码都是基于 golang 的标准库 阅读全文

摘要： 1. 概述 前段时间在看一本很多人推荐的线性代数教材《线性代数应该这样学》第三版，这一版每个章节都有大量的习题。 官方网站上虽然按照章节提供了习题的答案，一来因为网站是国外的，访问不流畅，二来答案中还夹杂着广告，影响查看。 所以，想试着将答案爬取下来制作成pdf，查看起来方便，也不会受网络的影响。 阅读全文

摘要： 1. 概述 王者荣耀是一直都挺喜欢的一个手游，玩了好几年，最近一段开始喜欢看比赛，所以想着采集点数据看看各个战队或者选手的情况。 顺便也练习练习 puppeteer 的使用。 数据来源于：尚牛电竞 。 2. 采集流程 王者荣耀最近正在进行的最大比赛就是 2021世冠杯，所以就选择采集这个赛事的数据。 阅读全文

摘要： 1. 概述 京粉（https://union.jd.com/）是京东联盟下的网站，通过分享其中的商品链接可以赚取佣金，类似淘客联盟。 采集京粉的商品，既可以练习 puppeteer的使用，平时想在京东购物时，也能用得上（采集看看有类似商品的价格和评价）。 2. 主要流程 采集的流程很简单： 2.1 阅读全文

摘要： 概述 最近在学习python的各种数据分析库，为了尝试各种库中各种分析算法的效果，陆陆续续爬取了一些真实的数据来。 顺便也练习练习爬虫，踩了不少坑，后续将采集的经验逐步分享出来，希望能给后来者一些参考，也希望能够得到先驱者的指点！ 采集工具 其实基本没用过什么现成的采集工具，都是自己通过编写代码来采 阅读全文

摘要： 概要 实战过程 原始数据格式 涨跌幅分析 分析步骤 01：去除多余的列 分析步骤 02：币种列转为行，每个交易日一行数据 分析步骤 03：就是每天的涨跌幅 分析步骤 04：删除掉第一天的无效数据 分析步骤 05：币种行转列，方便按照涨跌幅排序 分析步骤 06：导出数据 可视化 总结 概要 最近在用 阅读全文

摘要： 概述 python 的 pandas 库用来处理表格类型（也就是矩阵）的数据非常方便， 这个库用来在可视化之前对数据进行变换，计算和汇总之类的操作再好不过。 下面整理了最近我在做数据分析的短视频时常用的一些方法。 读取数据文件 做视频之前，我采集的数据都是用 csv 格式保存的，这里主要演示 pan 阅读全文

摘要： 数据来源 数据页面: 链家网南京（https://nj.lianjia.com/chengjiao/） 链家网数据量很大，这里只用南京的二手房成交数据。 如下图： 数据采集 链家网的页面数据比较整齐，采集很简单，为了避免影响别人使用，只采集的南京的二手房成交数据， 采集频率也很低，总共花了一下午才采 阅读全文

摘要： 概述 国家统计局的公开数据真实性强，宏观且与我们的生活息息相关。 因此，采集此数据作为数据分析实验的数据再好不过。 采集过程 采集各种公开数据的第一步就是分析网页。 上面的图是国家统计局年度数据的界面。 左边是数据分类的树形菜单，右边是每个菜单点击之后显示的数据，可以设置年份来过滤数据。 采集数据分 阅读全文

摘要： 概述 环境安装 设置是否自动启动 基本使用 创建环境 进入/退出环境 安装 python package 概述 使用 python 做数据分析，目前最方便和最流行的环境就是 Anaconda。 Anaconda 太重，刚开始学习使用 python 数据分析，还是觉得 Miniconda 更好一些。 阅读全文