03 2019 档案

数据分析之KNN数字识别手写
摘要：提炼样本数据 读出所有的数据 样本数据的提取 将样本数据打乱 获取训练数据和测试数据 实例化模型对象，训练 模型的保存 读取模型 让模型进行外部图片的识别 利用切片取值 阅读全文
posted @ 2019-03-11 16:25 Montant 阅读(345) 评论(0) 推荐(0)
机器学习、流程、K-近邻算法
摘要：一机器学习 算法模型对象：特殊的对象，在该对象中已经集成好一个方程(没有求出解的方程) 模型对象的作用：通过方程实现预测或者分类 样本数据(df,np)： 特征数据： 自变量 目标(标签)数据： 因变量 模型对象的分类： 有监督学习： 模型需要的样本数据中存在特征和目标 无监督学习： 模型需要的样本 阅读全文
posted @ 2019-03-08 17:55 Montant 阅读(292) 评论(0) 推荐(0)
数据分析的Matplotlib
摘要：一.Matplotlib的基础知识 Matplotlib中的基本图表包括的元素 x轴和y轴 axis水平和垂直的轴线 x轴和y轴刻度 tick刻度标示坐标轴的分隔，包括最小刻度和最大刻度 x轴和y轴刻度标签 tick label表示特定坐标轴的值 绘图区域（坐标系） axes实际绘图的区域 坐标系标 阅读全文
posted @ 2019-03-07 19:21 Montant 阅读(384) 评论(0) 推荐(0)
数据分析的Pandas
摘要：一.处理丢失数据 两种丢失数据 None None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。 np.nan(NaN) np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。 pandas中的None与NaN 1) pandas中None与 阅读全文
posted @ 2019-03-07 17:38 Montant 阅读(268) 评论(0) 推荐(0)
数据分析的Pandas_objects
摘要：导入pandas 1.Series Series是一种类似与一维数组的对象，由下面两个部分组成： values：一组数据（ndarray类型） index：相关的数据索引标签 1.1 Series的创建 两种创建方式: 由列表或numpy数组创建 默认索引为0到N-1的整数型索引 可以通过设置ind 阅读全文
posted @ 2019-03-06 21:57 Montant 阅读(185) 评论(0) 推荐(0)
数据分析的Numpy
摘要：数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 数据分析的三剑客 ： Numpy ，Pandas ，Matplotlib 一.Numpy Numpy(Mumerical python)是python语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针 阅读全文
posted @ 2019-03-06 20:22 Montant 阅读(267) 评论(0) 推荐(0)
Scrapy框架基于CrawlSpider爬数据，基于scrapy-redis的分布式爬虫，增量式爬虫
摘要：一.scrapy框架基于CrawlSpider的全站数据爬取 1.使用 1.创建scrapy工程：scrapy startproject projectName 2.创建爬虫文件：scrapy genspider -t crawl spiderName www.xxx.com 生成的爬虫文件 Lin 阅读全文
posted @ 2019-03-05 19:59 Montant 阅读(580) 评论(0) 推荐(0)
scrapy的核心组件，post请求，日志、请求参数，中间件的UA池和selenium的应用
摘要：一.scrapy的核心组件 五大核心组件工作流程： 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来 阅读全文
posted @ 2019-03-04 16:30 Montant 阅读(576) 评论(0) 推荐(0)
移动端数据爬取
摘要：1.Fiddler的概念 Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是 阅读全文
posted @ 2019-03-01 17:38 Montant 阅读(143) 评论(0) 推荐(0)
Scrapy框架基础应用和持久化存储
摘要：一.Scrapy框架的基础应用 1.Scrapy的概念 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。 2.安装 windows: Linux: 阅读全文
posted @ 2019-03-01 16:52 Montant 阅读(186) 评论(0) 推荐(0)