10 2017 档案

爬虫第三篇：requests模块
摘要：requests模块其实就是对urllib.request模块的进步一不优化，提供了很多可选的参数，同时简化了操作。下面我还是贴上具体操作的代码。 requests GET请求 GET请求html文件 GET请求二进制文件 requests POST 请求 阅读全文
posted @ 2017-10-27 12:01 风起了，风停了 阅读(653) 评论(0) 推荐(0)
爬虫第二篇：爬虫详解之存储数据
摘要：将数据存储到CSV文件 将数据存储到mysql中 将数据存储到pymongo中 阅读全文
posted @ 2017-10-26 11:53 风起了，风停了 阅读(1747) 评论(0) 推荐(0)
数据分析第六篇：机器学习分类
摘要：1. 监督学习，非监督学习，半监督学习和增强学习 机器学习方法分类标准一： 监督学习：分类、回归 给机器的训练数据拥有“标记”或“答案” 有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有LDA主题模型、朴素贝叶斯算法和隐式马尔科夫模型等，常见的判别方法有SVM、LR等），生成方法学习出 阅读全文
posted @ 2017-10-24 15:04 风起了，风停了 阅读(1887) 评论(0) 推荐(0)
数据分析第五篇：数据库多表连接操作
摘要：一、交叉连接（笛卡尔连接） 二、内连接（inner join） 三、左连接（left join） 四、右连接（right join） 五、全连接（full join） 阅读全文
posted @ 2017-10-21 00:20 风起了，风停了 阅读(2560) 评论(0) 推荐(0)
数据分析第四篇：数据清洗
摘要：需要清洗的数据有下面几种形式 2.1错误值 出现大量0的话，可以使用缺失值替代，然后再用缺失值填补的方法处理 camp['AvgIncome']=camp['AvgIncome'].replace({0: np.NaN}) 2.2 缺失值 vmean = camp['Age'].mean(axis= 阅读全文
posted @ 2017-10-20 11:01 风起了，风停了 阅读(60885) 评论(4) 推荐(4)
爬虫第一篇：爬虫详解之urllib.request模块
摘要：我将urllib.request 的GET请求和POST请求两种方法做了总结 GET请求 html = res.read().decode("utf-8") # 获取字符串 # res.read() # 数据类型bytes # res.getcode() : 返回HTTP的响应码 POST请求 总结 阅读全文
posted @ 2017-10-18 17:51 风起了，风停了 阅读(1487) 评论(0) 推荐(0)
数据分析第三篇：Numpy知识点
摘要：Numpy 将字符型数据转为datetime 生成ndarray数组 - np.random.random((2,2))- np.ones((3,4))- np.zeros((2,2), dtype='int32')- np.arange(1,10)- np.linspace(0,2,10)- np 阅读全文
posted @ 2017-10-17 17:35 风起了，风停了 阅读(3501) 评论(0) 推荐(0)
第一篇：Git操作详解
摘要：最近由于项目的需要，我需要负责整个项目的托管，其中涉及到很多Git相关的命令，所以就将之前用到的git相关的命令做了一个总结和归纳。由于开发环境是Linux，所以我接下来的操作命令均针对Linux环境。 git是一个开源的分布式的版本控制系统，主要用于项目的管理。 分布式：git使用分布式管理。即每 阅读全文
posted @ 2017-10-17 16:16 风起了，风停了 阅读(1565) 评论(0) 推荐(0)
数据分析第二篇：matplotlib 常用的几个绘图方法
摘要：Matplotlib matplotlib是python的绘图库，使用它可以很方便的绘制出版质量级别的图形 matplotlib的基本功能 1.基本绘图 1.1 绘制坐标系中连续的线，设置线型/线宽/颜色 绘制一条线的相关API 绘制水平线和垂直线相关API 线型/线宽/颜色 r 红色 g 绿色 b 阅读全文
posted @ 2017-10-17 15:33 风起了，风停了 阅读(2668) 评论(0) 推荐(0)