大江东去,浪淘尽,千古风流人物。故垒西边,人道是,三国周郎赤壁。乱石穿空,惊涛拍岸,卷起千堆雪。江山如画,一时多少豪杰。遥想公瑾当年,小乔初嫁了,雄姿英发。羽扇纶巾,谈笑间,樯橹灰飞烟灭。故国神游,多情应笑我,早生华发。人生如梦,一尊还酹江月。

人生苦短 我用Python

扩大
缩小

随笔分类 -  011-原生爬虫

爬虫 效率
摘要:爬虫 效率 一、同步与异步 二、并发与并行 三、多进程与多线程 四、队列 阅读全文

posted @ 2019-05-29 22:56 GuoZeping 阅读(321) 评论(0) 推荐(0)

爬虫 目录
摘要:爬虫 目录 一、 二、selenium selenium安装 阅读全文

posted @ 2019-04-25 13:00 GuoZeping 阅读(245) 评论(0) 推荐(0)

网页解析
摘要:网页解析 https://www.jianshu.com/p/41d06a4ed896 https://blog.csdn.net/mouday/article/details/80455560 https://blog.csdn.net/PbGc396Dwxjb77F2je/article/det 阅读全文

posted @ 2019-04-24 15:59 GuoZeping 阅读(409) 评论(0) 推荐(0)

代理IP
摘要:代理IP 一、获取代理IP 二、使用代理IP 1.requests 2. selenium 2.1 selenium+chrome 2.2 selenium+Firefox 2.3 selenium+phantomjs 2.4 selenium无头 http://www.51testing.com/ 阅读全文

posted @ 2019-04-23 15:03 GuoZeping 阅读(455) 评论(0) 推荐(0)

selenium 网络请求
摘要:selenium 网络请求 browser.find_element_by_id("id的name")browser.find_element("")browser.find_element_by_tag_name("标签name")browser.find_element_by_class_nam 阅读全文

posted @ 2019-04-23 14:13 GuoZeping 阅读(800) 评论(0) 推荐(0)

selenium 安装
摘要:selenium 安装 一、chromerdriver 1.浏览器版本 1)检查谷歌浏览器版本 打开chrome输入 "chrome://version/"查看版本,如图所示; 2.下载对应谷歌插件版本 1)插件版本 网址:http://chromedriver.storage.googleapis 阅读全文

posted @ 2019-04-23 11:37 GuoZeping 阅读(173) 评论(0) 推荐(0)

爬虫 原理
摘要:根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 通用搜索引擎(Search Engine)工作原理 通用网络爬虫 从 阅读全文

posted @ 2019-04-15 16:29 GuoZeping 阅读(637) 评论(0) 推荐(0)

导航