03 2019 档案

docker网络
摘要：Docker 允许通过外部访问容器或容器互联的方式来提供网络服务。 端口映射允许外部访问容器 --link 容器互联 容器桥接网络 1.通过--link容器通信，给test2添加一个hosts解析记录 docker run -d --name test2 --link test1 busybox / 阅读全文
posted @ 2019-03-25 16:45 heshun 阅读(131) 评论(0) 推荐(0)
docker入门
摘要：在学一门新知识的时候，喜欢提问，why？what？how？ wiki资料 什么是docker Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，于 2013 年 3 月以 Apache 2.0 授权协议开源，主要项目代码在 GitHub 阅读全文
posted @ 2019-03-25 16:32 heshun 阅读(97) 评论(0) 推荐(0)
爬虫知识点总结
摘要：知识点总结 requests模块 爬取数据流程： - get，post作用： get，post参数： url headers data/params proxies 处理ajax动态加载的数据： - 模拟登陆： 获取点击登录按钮发起的post请求(请求参数) 打码平台使用： 开发者用户: 创建一个软 阅读全文
posted @ 2019-03-20 17:49 heshun 阅读(474) 评论(0) 推荐(0)
tushare模块的应用
摘要：一.TuShare简介和环境安装 TuShare是一个著名的免费、开源的python财经数据接口包。其官网主页为：TuShare -财经数据接口包。该接口包如今提供了大量的金融数据，涵盖了股票、基本面、宏观、新闻的等诸多类别数据（具体请自行查看官网），并还在不断更新中。TuShare可以基本满足量化 阅读全文
posted @ 2019-03-11 15:53 heshun 阅读(503) 评论(0) 推荐(0)
Matplotlib 库 : 绘图和可视化
摘要：一、Matplotlib基础知识 1.1Matplotlib中的基本图表包括的元素 x轴和y轴 axis水平和垂直的轴线 x轴和y轴刻度 tick刻度标示坐标轴的分隔，包括最小刻度和最大刻度 x轴和y轴刻度标签 tick label表示特定坐标轴的值 绘图区域（坐标系） axes实际绘图的区域 坐标 阅读全文
posted @ 2019-03-10 20:21 heshun 阅读(387) 评论(0) 推荐(0)
Pandas模块：表计算与数据分析
摘要：一 . pandas简单介绍 1、pandas是一个强大的Python数据分析的工具包。2、pandas是基于NumPy构建的。 3、pandas的主要功能 具备对其功能的数据结构DataFrame、Series 集成时间序列功能 提供丰富的数学运算和操作 灵活处理缺失数据 4、安装方法：pip i 阅读全文
posted @ 2019-03-10 20:13 heshun 阅读(584) 评论(0) 推荐(0)
数据分析之Numpy-数组计算
摘要：引言 : 数据分析 : 就是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来,总结出研究对象的内在规律 . 数据分析三剑客 : Numpy 数组计算 Pandas 表计算与数据分析 Matplotlib 绘图和可视化 一 . NumPy 1 . NumPy(Numerical Python) 是 p 阅读全文
posted @ 2019-03-10 20:12 heshun 阅读(444) 评论(0) 推荐(0)
数据分析相关
摘要：数据分析之Numpy-数组计算 Pandas模块：表计算与数据分析 Matplotlib 库 : 绘图和可视化 tushare模块的应用 阅读全文
posted @ 2019-03-10 20:11 heshun 阅读(171) 评论(0) 推荐(0)
基于scrapy-redis两种形式的分布式爬虫
摘要：引子 : scrapy框架能否自己实现分布式 ? - 不可以 - 原因一 : 因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多态机器无法分配 start_urls 列表中的url . (多台机器无法共享同一个调度器) - 原因二 : 多台机器爬取到的数据无法通过一个管道对数据进行 阅读全文
posted @ 2019-03-08 22:51 heshun 阅读(268) 评论(0) 推荐(0)
Crawlspider的自动爬取
摘要：引子 : 如果想要爬取 糗事百科 的全栈数据的方法 ? 方法一 : 基于scrapy框架中的scrapy的递归爬取进行实现(requests模块递归回调parse方法) . 方法二 : 基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 一 . 介绍 CrawlSpider其实是Spi 阅读全文
posted @ 2019-03-08 22:41 heshun 阅读(288) 评论(0) 推荐(0)
scrapy中selenium的应用
摘要：引入 : 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也 阅读全文
posted @ 2019-03-08 22:32 heshun 阅读(344) 评论(0) 推荐(0)
UA池和代理池
摘要：一 . 中间件 先上图 : 中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 作用 : (1) 引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理, 比如设置请求的 User-Agent，设置代理等 (2) 在下载器完成将Respo 阅读全文
posted @ 2019-03-08 22:26 heshun 阅读(819) 评论(0) 推荐(1)
scrapy框架的日志等级和请求参数
摘要：一 . Scrapy的日志等级 - 在使用 scrapy crawl xxx 允许程序时,在终端里打印输出的就是scrapy的日志信息 - 日志信息的种类 : ERROR : 错误信息 WARNING : 警告 INFO : 一般的信息 DEBUG : 调试信息 -设置日志信息的制定输出 : 在se 阅读全文
posted @ 2019-03-08 22:11 heshun 阅读(879) 评论(0) 推荐(0)
scrapy核心组件工作流程和post请求
摘要：一 . 五大核心组件的工作流程 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是 阅读全文
posted @ 2019-03-08 21:54 heshun 阅读(190) 评论(0) 推荐(0)
爬虫相关
摘要：爬虫介绍 爬虫——回顾HTTP 协议 环境安装及抓包工具安装 request模块的使用 爬虫中urllib库 爬虫的三种解析方式(正则解析, xpath解析, bs4解析) 爬虫之 图片懒加载, selenium , phantomJs, 谷歌无头浏览器 爬虫验证码处理与IP处理 requests模 阅读全文
posted @ 2019-03-03 22:14 heshun 阅读(147) 评论(0) 推荐(0)
scrapy框架的持久化存储
摘要：一 . 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 二 . 基于管道的持久化存储 scrapy框架已经为我们专门集成了高效 , 便捷的持久化操作功能,我们直接用即可. 在使用 阅读全文
posted @ 2019-03-03 22:09 heshun 阅读(224) 评论(0) 推荐(0)
移动端数据爬取
摘要：前言 随着移动市场的火热，各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据，那这些数据我们是否可以去享用一下呢？那么接下来就进入我们的移动端APP数据的爬虫中来吧。 一 . 什么是Fiddler? Fiddler是位于客 阅读全文
posted @ 2019-03-03 17:11 heshun 阅读(168) 评论(0) 推荐(0)
scrapy框架简介和基础应用
摘要：一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 二.安装 阅读全文
posted @ 2019-03-03 16:56 heshun 阅读(151) 评论(0) 推荐(0)
requests模块session处理cookie 与基于线程池的数据爬取
摘要：引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： 一: 基于requests模块的cookie操作 - 结果发现, 写入到文件中的数据, 不是张三个人页面的数据, 而是人人 阅读全文
posted @ 2019-03-03 16:26 heshun 阅读(770) 评论(0) 推荐(0)
爬虫验证码处理与IP处理
摘要：引入 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 - 1.对携带验证码的页面数据进行抓取 - 2.可以将页面数据中验证码进行解析，验证码图片下载到本地 - 3.可以将验证码图片提交给三方平台进行识别，返 阅读全文
posted @ 2019-03-03 15:53 heshun 阅读(516) 评论(0) 推荐(0)
爬虫之 图片懒加载, selenium , phantomJs, 谷歌无头浏览器
摘要：一.图片懒加载 懒加载 : JS 代码 是页面自然滚动 window.scrollTo(0,document.body.scrollHeight) (重点) 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 - 运行结果观察发现，我们可以获取图片的名称 阅读全文
posted @ 2019-03-03 15:24 heshun 阅读(377) 评论(0) 推荐(0)
爬虫的三种解析方式(正则解析, xpath解析, bs4解析)
摘要：一 : 正则解析 : 常用正则回顾: 回顾 : 项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中 二. Xpath 解析: 测试页面数据 常用的xpath 表达式 属性定位 : 找到class 属性值 为song的div 标签 // div[@class='song'] 层级$索引定位 阅读全文
posted @ 2019-03-03 13:56 heshun 阅读(1523) 评论(0) 推荐(1)
爬虫中urllib库
摘要：一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 一般是用urllib 库 爬取图片比 阅读全文
posted @ 2019-03-03 12:03 heshun 阅读(188) 评论(0) 推荐(0)
request模块的使用
摘要：引入 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 Requests 模块: 什么是requests模块 requests模 阅读全文
posted @ 2019-03-03 11:48 heshun 阅读(1377) 评论(0) 推荐(0)
环境安装及抓包工具安装
摘要：一、Jupyter notebook环境安装 1、Anaconda 以及 安装步骤 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB）。 下载地址：http 阅读全文
posted @ 2019-03-03 11:23 heshun 阅读(556) 评论(0) 推荐(0)