GuoZeping - 博客园

Scrapy 代理IP

摘要： Scrapy 代理IP 一、Scarpy使用代理IP 1.在setting.py 配置代理服务器IP 2.在middlermares.py 配置 downloadmiddlermare(下载中间件) Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARE 阅读全文

posted @ 2019-04-25 13:50 GuoZeping 阅读(432) 评论(0) 推荐(0)

Scrapy 原理

摘要： Scrapy 原理一、原理 scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列程序中。二、工作流程 Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler 阅读全文

posted @ 2019-04-25 13:25 GuoZeping 阅读(988) 评论(0) 推荐(0)

爬虫目录

摘要：爬虫目录一、二、selenium selenium安装阅读全文

posted @ 2019-04-25 13:00 GuoZeping 阅读(243) 评论(0) 推荐(0)

正则表达式匹配两个特殊字符中间的内容

摘要：正则表达式匹配两个特殊字符中间的内容匹配两个字符串A与B中间的字符串包含A与B：表达式: A.*?B（“.“表示任意字符，“？”表示匹配0个或多个）示例: Abaidu.comB 结果: Awww.apizl.comB 匹配两个字符串A与B中间的字符串包含A但是不包含B：表达式: A.*?( 阅读全文

posted @ 2019-04-24 17:31 GuoZeping 阅读(22738) 评论(0) 推荐(0)

正则表达式

摘要：正则表达式阅读全文

posted @ 2019-04-24 16:57 GuoZeping 阅读(260) 评论(0) 推荐(0)

网页解析

摘要：网页解析 https://www.jianshu.com/p/41d06a4ed896 https://blog.csdn.net/mouday/article/details/80455560 https://blog.csdn.net/PbGc396Dwxjb77F2je/article/det 阅读全文

posted @ 2019-04-24 15:59 GuoZeping 阅读(408) 评论(0) 推荐(0)

Django 工作流程

摘要：四、Django 数据库迁移 DATABASES = { # Django默认配置使用sqlite3数据库 # 'default': { # 'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sq 阅读全文

posted @ 2019-04-24 09:48 GuoZeping 阅读(276) 评论(0) 推荐(0)

代理IP

摘要：代理IP 一、获取代理IP 二、使用代理IP 1.requests 2. selenium 2.1 selenium+chrome 2.2 selenium+Firefox 2.3 selenium+phantomjs 2.4 selenium无头 http://www.51testing.com/ 阅读全文

posted @ 2019-04-23 15:03 GuoZeping 阅读(454) 评论(0) 推荐(0)

selenium 网络请求

摘要： selenium 网络请求 browser.find_element_by_id("id的name")browser.find_element("")browser.find_element_by_tag_name("标签name")browser.find_element_by_class_nam 阅读全文

posted @ 2019-04-23 14:13 GuoZeping 阅读(798) 评论(0) 推荐(0)

selenium 安装

摘要： selenium 安装一、chromerdriver 1.浏览器版本 1）检查谷歌浏览器版本打开chrome输入 "chrome://version/"查看版本，如图所示； 2.下载对应谷歌插件版本 1）插件版本网址：http://chromedriver.storage.googleapis 阅读全文

posted @ 2019-04-23 11:37 GuoZeping 阅读(173) 评论(0) 推荐(0)

创建项目/执行

摘要：创建项目一、创建项目 1.conda创建环境 1）安装anaconda后，使用conda向指定工作目录下创建虚拟环境；命令：conda create --prefix=w:\work_preject\Scrapy_project\venv python=3.6 解释：在工作目录下，首先创建con 阅读全文

posted @ 2019-04-23 10:51 GuoZeping 阅读(295) 评论(0) 推荐(0)

Git 创建版本库

摘要： Git 创建版本库阅读全文

posted @ 2019-04-22 23:30 GuoZeping 阅读(284) 评论(0) 推荐(0)

Git 命令汇总

摘要： Git 命令汇总 $ rm -rf .git # 删除本地仓库 $ cat .git/config # 查看git配置阅读全文

posted @ 2019-04-22 23:20 GuoZeping 阅读(268) 评论(0) 推荐(0)

Git 概念

摘要： Git 概念一、Git 工作流程 ~ Workspace:工作区 ~ Index/ Stage：暂存区 ~ Repository：仓库区（或本地仓库） ~ Remote：远程仓库工作区进行开发改动的地方，是当前的，也是最新的。平常我们开发就是拷贝远程仓库中的一个分支，基于该分支进行开发。在开发阅读全文

posted @ 2019-04-22 22:25 GuoZeping 阅读(252) 评论(0) 推荐(0)

外部排序（基数排序）

摘要：外部排序（基数排序）阅读全文

posted @ 2019-04-22 16:21 GuoZeping 阅读(499) 评论(0) 推荐(0)