摘要：pip install selenium __author__ = 'admin' __date__ = 2017 / 11 / 3 from selenium import webdriver import time browser=webdriver.Chrome(executable_path 阅读全文

摘要：代码 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 from concurrent.futures import ProcessPoolExecutor import requests def fetch_async(url): r 阅读全文

摘要：下载安装驱动，先进入虚拟环境： 安装错误 就进入这个网站：http://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient 下载进行安装 linux 下安装 sudo apt-get install libmysqlcilent-devsim 数据库表 设 阅读全文

摘要：css选择器： 提取出 标题： :: 是css固定用法 用来提取内容 完整代码 阅读全文

摘要：对于二叉树的遍历方式一般分为三种先序、中序、后序三种方式： 先序遍历（根左右）若二叉树为空，则不进行任何操作：否则1、访问根结点。2、先序方式遍历左子树。3、先序遍历右子树。 中序遍历 （左根右）若二叉树为空，则不进行任何操作：否则1、中序遍历左子树。2、访问根结点。3、中序遍历右子树。 后序遍历 阅读全文

摘要：进入文件夹 创建scrapy工程 安装成功： 创建要爬取的项目 目录结构： 小提示 scrapy不支持调试，所以要自己创建个目录调试，详细代码 运行 scrapy 出现以下错误 原因是缺少了win32缺少了这个文件，下载安装就可以了 设置setting 再根目录创建main 再spiders下搭建 阅读全文

摘要：python2和python3编码区别 在python2中还有两种表明编码的方式 还有种再头部加sys 阅读全文

摘要：scrapy 优势： 常见类型网页：静态网页 动态网页 、 webserbice（restapi） 正则表达式： 小栗子： 匹配出以下所有的日期 Xpath： 阅读全文

摘要：目录： pycharm使用技巧:再设置里输入 interpreter 即可查看或者修改当前使用的python版本，输入keymap，可看查看当前快捷键 安装虚拟环境 创建虚拟环境： 创建虚拟环境2 进入虚拟环境 退出虚拟环境： 提高下载速度，可以使用国内的下载包： https://pypi.doub 阅读全文

摘要：1 import requests,json,urllib.parse 2 import threading 3 threading_lock=threading.BoundedSemaphore(value=10)#设置最大线程 4 5 def get_page(url): 6 page=requests.get(url) 7 page=page.content... 阅读全文

摘要：爬虫的三大特征： 可以做爬虫的语言 PHP、Java、C/C++、python python 语法优美、代码间接、开发效率高、支持的模块多，还有强大的Scrapy、以及成俗搞笑的Scrapy-redis分布式框架 Http页面抓取：urllib、urllib2、requests 处理后的请求可以模拟 阅读全文