摘要: 读完这本书回过头才发现, 第一篇笔记居然是 2012年8月发的, 将近一年半的时间才看完这本书(汗!!!).为了方便以后查看, 做个《Linux内核设计与实现》读书笔记 的目录:《Linux内核设计与实现》读书笔记(一)-内核简介《Linux内核设计与实现》读书笔记(二)- 内核开发的准备《Linu... 阅读全文
posted @ 2014-01-11 09:56 wang_yb 阅读(29103) 评论(12) 推荐(19) 编辑
摘要: 1. 概述 前段时间在看一本很多人推荐的线性代数教材《线性代数应该这样学》第三版,这一版每个章节都有大量的习题。 官方网站上虽然按照章节提供了习题的答案,一来因为网站是国外的,访问不流畅,二来答案中还夹杂着广告,影响查看。 所以,想试着将答案爬取下来制作成pdf,查看起来方便,也不会受网络的影响。 阅读全文
posted @ 2021-10-08 17:32 wang_yb 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 1. 概述 王者荣耀是一直都挺喜欢的一个手游,玩了好几年,最近一段开始喜欢看比赛,所以想着采集点数据看看各个战队或者选手的情况。 顺便也练习练习 puppeteer 的使用。 数据来源于:尚牛电竞 。 2. 采集流程 王者荣耀最近正在进行的最大比赛就是 2021世冠杯,所以就选择采集这个赛事的数据。 阅读全文
posted @ 2021-08-21 00:44 wang_yb 阅读(164) 评论(1) 推荐(0) 编辑
摘要: 1. 概述 京粉(https://union.jd.com/)是京东联盟下的网站,通过分享其中的商品链接可以赚取佣金,类似淘客联盟。 采集京粉的商品,既可以练习 puppeteer的使用,平时想在京东购物时,也能用得上(采集看看有类似商品的价格和评价)。 2. 主要流程 采集的流程很简单: 2.1 阅读全文
posted @ 2021-07-27 02:26 wang_yb 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 概述 最近在学习python的各种数据分析库,为了尝试各种库中各种分析算法的效果,陆陆续续爬取了一些真实的数据来。 顺便也练习练习爬虫,踩了不少坑,后续将采集的经验逐步分享出来,希望能给后来者一些参考,也希望能够得到先驱者的指点! 采集工具 其实基本没用过什么现成的采集工具,都是自己通过编写代码来采 阅读全文
posted @ 2021-06-30 18:45 wang_yb 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 概要 实战过程 原始数据格式 涨跌幅分析 分析步骤 01:去除多余的列 分析步骤 02:币种列转为行,每个交易日一行数据 分析步骤 03:就是每天的涨跌幅 分析步骤 04:删除掉第一天的无效数据 分析步骤 05:币种行转列,方便按照涨跌幅排序 分析步骤 06:导出数据 可视化 总结 概要 最近在用 阅读全文
posted @ 2021-05-26 18:07 wang_yb 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 概述 python 的 pandas 库用来处理表格类型(也就是矩阵)的数据非常方便, 这个库用来在可视化之前对数据进行变换,计算和汇总之类的操作再好不过。 下面整理了最近我在做数据分析的短视频时常用的一些方法。 读取数据文件 做视频之前,我采集的数据都是用 csv 格式保存的,这里主要演示 pan 阅读全文
posted @ 2021-04-26 22:06 wang_yb 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 数据来源 数据页面: 链家网南京(https://nj.lianjia.com/chengjiao/) 链家网数据量很大,这里只用南京的二手房成交数据。 如下图: 数据采集 链家网的页面数据比较整齐,采集很简单,为了避免影响别人使用,只采集的南京的二手房成交数据, 采集频率也很低,总共花了一下午才采 阅读全文
posted @ 2021-04-15 11:02 wang_yb 阅读(223) 评论(2) 推荐(0) 编辑
摘要: 概述 国家统计局的公开数据真实性强,宏观且与我们的生活息息相关。 因此,采集此数据作为数据分析实验的数据再好不过。 采集过程 采集各种公开数据的第一步就是分析网页。 上面的图是国家统计局年度数据的界面。 左边是数据分类的树形菜单,右边是每个菜单点击之后显示的数据,可以设置年份来过滤数据。 采集数据分 阅读全文
posted @ 2021-04-09 12:13 wang_yb 阅读(577) 评论(0) 推荐(1) 编辑
摘要: 概述 环境安装 设置是否自动启动 基本使用 创建环境 进入/退出环境 安装 python package 概述 使用 python 做数据分析,目前最方便和最流行的环境就是 Anaconda。 Anaconda 太重,刚开始学习使用 python 数据分析,还是觉得 Miniconda 更好一些。 阅读全文
posted @ 2021-04-06 19:42 wang_yb 阅读(134) 评论(1) 推荐(0) 编辑
摘要: 概述 常用视频编辑命令 视频截取 视频合并 剥离视频中的音频 视频加背景音乐 视频加水印(文字) 视频加水印(图片) 视频分辨率调整 概述 在短视频时代,虽然可以随手拍了就发,但是要想稍微制作点内容,视频的编辑是少不了的。 熟悉几条简单的命令,对于一些简单的需求不至于束手无策,也不用为了个简单的功能 阅读全文
posted @ 2021-04-03 23:15 wang_yb 阅读(117) 评论(0) 推荐(0) 编辑