10 2017 档案

GIT安装教程
摘要：看了一些教程，较难理解，于是想自己写一篇，做个总结。 一、从https://git-for-windows.github.io/ 上下载window的GIT；安装完成后，在开始菜单中找到“Git”->“Git Bash”，打开。出现一个命令框。 说明成功安装。还需要最后一步设置，在命令行输入： 二、 阅读全文
posted @ 2017-10-23 11:01 方木--数据分析与挖掘 阅读(520) 评论(1) 推荐(0)
python--地图可视化
摘要：python地图可视化可用python包Basemap；本篇总结用到百度的Echars，http://echarts.baidu.com/；Echarts 是百度开源的一个数据可视化 JS 库。 安装pyecharts库； 运行后，在代码文件所在目录生成一个render的html文件，用浏览器打开， 阅读全文
posted @ 2017-10-20 10:59 方木--数据分析与挖掘 阅读(20775) 评论(0) 推荐(1)
python--数据可视化
摘要：数据如何清晰、准确、交互的展现，通过数据可视化，将实现这些效果。 python可视化需要用到的库：pandas，matplotlib 参考官方教程：http://matplotlib.org/index.html 散点图： 绘图函数：plot(x,y,'.',color(r,g,b)) x、y，x轴 阅读全文
posted @ 2017-10-19 10:50 方木--数据分析与挖掘 阅读(1375) 评论(1) 推荐(1)
python--数据处理与探索
摘要：根据收集到的数据，接下来要考虑的问题是数据是否满足我们模型构建的要求，数据质量是否过关？数据间的关联性如何？趋势和规律怎么样的？ 通过数据的处理和探索，用统计手段通过制图等描绘数据，对数据进行初步的探索。 数据质量分析： 1、缺失值；2、异常值；3、不一致的值；4、重复数据且含有非法字符。 1、缺失 阅读全文
posted @ 2017-10-17 16:35 方木--数据分析与挖掘 阅读(517) 评论(1) 推荐(0)
python--导入导出数据
摘要：1、导入数据的方式： 从：csv，txt，exce文件，数据库：mysql等。 read_csv（file,encoding）导入数据，file是文件路径。 read_table(file,names=[列名1，列名2，…】，sep=“”，encoding，…） read _excel（fileNa 阅读全文
posted @ 2017-10-16 08:39 方木--数据分析与挖掘 阅读(19627) 评论(0) 推荐(0)
python--处理数据
摘要：一、数据类型： 定义：按照python规定的格式，把数据的类型告知python； 赋值：定义好的数据，传递给变量的过程； 变量：数据赋值的对象，通过变量去操作数据； 变量名命名规则： 1、a-z，A-Z，数字，下划线，首字母不能为数字和下划线； 2、大小写敏感； 3、变量名不能为python中的保留 阅读全文
posted @ 2017-10-14 16:39 方木--数据分析与挖掘 阅读(440) 评论(0) 推荐(0)
python爬虫--运用cookie模拟登录知乎
摘要：前面已经介绍过，运用表单填写帐号，用户名的方式模拟登录知乎。若登录成功，则之后就可以利用cookie登入，无需重复之前步骤。 运行后，在代码所在文件夹中出现cookie文件。 现在加载cookie登录： 运行后显示：您已经登录。 cookielib模块的主要作用是提供可存储cookie的对象，以便于 阅读全文
posted @ 2017-10-11 20:58 方木--数据分析与挖掘 阅读(11025) 评论(4) 推荐(0)
python爬虫--连接数据库2
摘要：连接MongoDB. 去官网下载MongoDB，安装后。 可以在C盘创建2个文件夹。C:\data\db,和C:\data\log。在log目录下新建一个文件，日志文件，mongodb.log MongoDB数据库文件设置。 运行--cdm.exe 打开MongoDB所在的安装目录，MongoDB\ 阅读全文
posted @ 2017-10-09 16:41 方木--数据分析与挖掘 阅读(284) 评论(0) 推荐(0)
python爬虫--模拟登录知乎
摘要：1、处理登录表单 处理登录表单可以分为2步： 第一、查看网站登录的表单，构建POST请求的参数字典； 第二、提交POST请求。 打开知乎登录界面，https://www.zhihu.com/#signin， 按f12，打开开发者界面： 在这里面找到headers信息， 现在在用户名和密码处查找信息， 阅读全文
posted @ 2017-10-06 21:40 方木--数据分析与挖掘 阅读(555) 评论(0) 推荐(0)
python爬虫--连接数据库1
摘要：1、连接mysql 下载mysql，到官网下载。一路安装，设置好帐号密码。 下载mysql的编译环境，Navicat； 在Navicat创建数据库和表； python链接mysql， 安装库，pip install mysqlclient。 用pyrhon在mysql中创建的数据库leon中的url 阅读全文
posted @ 2017-10-05 18:47 方木--数据分析与挖掘 阅读(3101) 评论(1) 推荐(0)
python爬虫--储存本地
摘要：1、储存到txt 在桌面创建一个title.txt的文本， a+为读写模式，如果文件不存在，则创建一个文件。 2、读写txt中的数据 得到的结果是：today is beautiful 集中打开文件的方式： r ： 以只读方式打开文件，文件不存在则出错 w：以只写方式打开文件，文件存在则清空，不存在 阅读全文
posted @ 2017-10-04 20:36 方木--数据分析与挖掘 阅读(844) 评论(0) 推荐(0)
python爬虫--解析网页几种方法之BeautifulSoup
摘要：一.解析器概述 对网页进行析取时，并未规定解析器，此时使用的是python内部默认的解析器“html.parser”。 解析器是什么呢？ BeautifulSoup做的工作就是对html标签进行解释和分类，不同的解析器对相同html标签会做出不同解释。 举个官方文档上的例子： 官方文档上多次提到推荐 阅读全文
posted @ 2017-10-02 21:08 方木--数据分析与挖掘 阅读(2547) 评论(0) 推荐(0)