何哈哈哈

摘要： 鼠标的拖动以及根据元素位置的点击。 from time import sleep from selenium import webdriver from selenium.webdriver import ActionChains browser = webdriver.Chrome(executa 阅读全文

摘要： 登录古诗文网 import time from selenium import webdriver from selenium.webdriver import ChromeOptions from PIL import Image from js_test.tool.chaojiying impo 阅读全文

摘要： 在python3.4中，引入了asyncio模块，在3.5的版本中引入了asynic await 关键字。 这是asyncio的基础使用： import requests import time import asyncio # 异步函数定义需要加async装饰 async def get_requ 阅读全文

摘要： 今天发现一个python使用起来比较简单的多线程库，分享一下。 总所周知，python的GIL限制了python无法使用真正的多线程，要想做IO异步任务，个人更推荐使用协程。 import requestsimport time# 线程池from multiprocessing.dummy impo 阅读全文

摘要： 话不多说，直接上代码。 这里的验证码识别采用超级鹰接口完成。 import requests from lxml import etree from urllib import parse import os from js_test.tool.chaojiying import Chaojiyin 阅读全文

摘要： 一、全局命令1-startproject 创建一个新的Scrapy项目： scrapy startproject <project_name> [project_dir]例如：scrapy startproject Crawler51job 【注意】项目名称不能以数字开头 2-genspider 在 阅读全文

摘要： 当我们使用Scrapy进行网站爬取的时候，无法避免的会出现爬虫暂停的情况，不用担心，Scrapy已经提供了这个功能。 在启动爬虫命令的时候我们使用参数 -s (set的意思)，这会将本次爬虫运行的相关信息记录在001文件夹中，在爬虫暂停重新启动后会读取信息继续进行网站的爬取。所以一次完整的爬虫无论暂 阅读全文

摘要： User-Agent 在scrapy的settings里写入以下代码即可配置动态User-Agent # 配置动态的user agent from fake_useragent import UserAgent ua = UserAgent() USER_AGENT = ua.random IP代理 阅读全文

摘要： 新建爬虫项目：scrapy start project ArticleSpider 在项目文件夹中新建爬虫：scrapy genspider jobbole http//:www.jobbole.com 启动爬虫任务：scrapy crawl jobbole 阅读全文

摘要： python实现深度优先和广度优先的代码 # 深度优先过程 def depth_tree(tree_node): if tree_node is not None: print(tree_node._data) if tree_node._left is not None: return depth 阅读全文