最近SVN管理出现了很多问题，相比之下还是git更适合管理一些，复习git语句，整合据挖掘部分的代码 首先先在git注册https://github.com 填入用户名和密码 验证是否成功 注意git config命令的--global参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个 Read More
复习redis，对于redis的理解可以理解为是一个内存数据库，NoSQL Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。 String（字符串） string是redis最基本的类型，你可以理解成 Read More
pandas提供了 1.便于操作的数据类型 2.提供了很多分析函数和分析工具 padas库的理解 两个数据类型：Series(一维),DataFrame（多维） 关注数据的应用表达，数据和索引之间的关系 series：理解为带标签数组 可以通过标量创建 可以通过字典创建 可以通过ndarrary创建 Read More
分割区域 subplot（nrows,ncols,plot_number） subplot2grid(GridSpec,CurSpec,colspan=1,rowsapn=1) colspan横向延伸 rowsapn纵向延伸 gridspec+subplot plot折线图（可以是xy坐标系，也可以 Read More
图像一般是使用RGB模式，是一个三色数组 PIL库 图像变化（相反） 图像变化（灰度） 图像变化（色彩变淡） 图像变化（色彩变深） 图像的手绘效果 手绘特点： 1.黑白灰色系 2.边界较重 3.相同相近的色彩趋近白色 4.有光源 Read More
random： numpy.random.rand(d0, d1, ..., dn)：生成一个[0,1)之间的随机浮点数或N维浮点数组，均匀分布 numpy.random.randn(d0, d1, ..., dn)：生成一个浮点数或N维浮点数组，正态分布 numpy.random.standard Read More
csv 逗号分隔值，用来存储批量数据 np.savetxt(frame,arrary,fmt='%.18e',delimiter=None) frame: 文件，字符串，产生器，可以是.gz或.bz2的压缩文件 array: 存入文件的数组 fmt: %d %.2f %.18e delimiter Read More
ndarrary包括的类型 1.bool 2.int类（intc，intp,int8,int16,int32,int64） 3.unit类（unit8,unit16,unit32,unit64） 4.float类（float16,float32,float64） 5.complex类（complex Read More
流程： 1.scrapy startproject python123demo 生产爬虫工程 2.scrapy genspider demo python123.io 产生爬虫 3.配置产生的spider 4.编写item pipeline 5.优化配置策略 6.运行爬虫，获取网页 文件信息： 1. Read More
最近想搞懂srapy，读了很多资料觉得这张图最好理解 5+2模式 五个模块 SPIDERS：能提出需求产生爬取项item，爬取请求requests，解析响应response ENGINE：控制数据流，提供事件触发，核心部分 SCHEDULER：接收请求，调度请求 DOWNLOADER：工作模块，根据 Read More