摘要： 数据分析08 /数据分析综合项目 用户消费行为分析 [TOC] 第一部分：数据类型处理 数据加载 字段含义： user_id:用户ID order_dt:购买日期 order_product:购买产品的数量 order_amount:购买金额 观察数据 查看数据的数据类型 数据中是否存储在缺失值 将 阅读全文

摘要： 数据分析07 /matplotlib绘图 [TOC] 1. 绘制线性图：plt.plot() 绘制单条线形图 绘制抛物线形图 在一个坐标系中绘制多条曲线 给x，y设定标识 设置图例大小 设置图例legend() 保存图例 2. 绘制柱状图：plt.bar() plt.bar()参数：第一个参数是索引 阅读全文

摘要： 数据分析06 /pandas高级操作相关案例：人口案例分析、2012美国大选献金项目数据分析 [TOC] 1. 人口分析案例 需求： 1. 导入文件，查看原始数据 2. 将人口数据和各州简称数据进行合并 3. 将合并的数据中重复的abbreviation列进行删除 4. 查看存在缺失数据的列 5. 阅读全文

摘要： 数据分析05 /pandas的高级操作 [TOC] 1. 替换操作 替换操作可以同步作用于Series和DataFrame中 创建df表格数据： 普通替换： 替换所有符合要求的元素:to_replace=15,value='e' 按列指定单值替换： to_replace={列标签：替换值} valu 阅读全文

摘要： 数据分析04 /基于pandas的DateFrame进行股票分析、双均线策略制定 [TOC] 需求1：对茅台股票分析 茅台股票分析 使用tushare包获取某股票的历史行情数据。 tushare:财经数据接口包 pip install tushare 输出该股票所有收盘比开盘上涨3%以上的日期。 输 阅读全文

摘要： 数据分析03 /基于pandas的数据清洗、级联、合并 [TOC] 1. 处理丢失的数据 两种丢失的数据： 1. 种类 None：None是对象类型，type(None)：NoneType np.nan(NaN)：是浮点型，type(np.nan)：float 2. 两种丢失数据的区别: objec 阅读全文

摘要： 数据分析02 /pandas基础 [TOC] 1. pandas简介 numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数值型的数据还有好多其他类型的数据（字符串，时间序列），那么pandas就可以帮我们很好的处理除了数值型的其他数据！ pandas中的两个常用的类：Series/Da 阅读全文

摘要： 数据分析01 /数据分析之numpy模块 [TOC] 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律；数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们做出判断，以便采取适当的行动 数据分析三剑客：numpy / pandas / matplotli 阅读全文

摘要： 爬虫07 /scrapy图片爬取、中间件、selenium在scrapy中的应用、CrawlSpider、分布式、增量式 [TOC] 1. scrapy图片的爬取/基于管道类实现 爬取流程： 1. 爬虫类中将解析到的图片地址存储到item，将item提交给指定的管道 2. 在管道文件中导包：from 阅读全文

摘要： 爬虫06 /scrapy框架 [TOC] 1. scrapy概述/安装 异步的爬虫框架 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 Twisted：就是scrapy的异步机制，主要体现在下载器 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux： 阅读全文