2020 年 8月随笔档案 - 消磨_时间

摘要：协程基本语法import asyncioasync def request(url): print('正在请求的url是',url) print('请求成功',url) return url# ... 阅读全文

posted @ 2020-08-20 16:38 消磨_时间阅读(188) 评论(0) 推荐(0)

爬虫基础-线程池

摘要：线程池基本语法import timefrom multiprocessing.dummy import Poolstart_time = time.time()def get_page(str): prin... 阅读全文

posted @ 2020-08-20 16:33 消磨_时间阅读(188) 评论(0) 推荐(0)

摘要：线程池方式 import requestsfrom lxml import etreefrom bs4 import BeautifulSoupfrom lxml.html import tostringimpo... 阅读全文

posted @ 2020-08-16 20:11 消磨_时间阅读(1156) 评论(0) 推荐(0)

摘要：线程池方式import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport timeimport osfrom multiproce... 阅读全文

posted @ 2020-08-15 21:55 消磨_时间阅读(623) 评论(0) 推荐(0)

摘要：bs4方式import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport timeimport osheaders = { ... 阅读全文

posted @ 2020-08-15 17:15 消磨_时间阅读(803) 评论(0) 推荐(0)

摘要：爬取城市列表# -*- coding:utf-8 -*-import requestsfrom lxml import etreeimport osif __name__ == "__main__": # ... 阅读全文

posted @ 2020-08-14 13:07 消磨_时间阅读(130) 评论(0) 推荐(0)

摘要：requests模块: - 安装 pip install requests - 定义url url = 'https://www.sougou.com/' - UA伪... 阅读全文

posted @ 2020-08-14 12:35 消磨_时间阅读(70) 评论(0) 推荐(0)

摘要：xpath解析: -最常用且最高效便捷的一种解析方式,通用性强. - xpath解析原理 - 1. 实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中 ... 阅读全文

posted @ 2020-08-14 12:22 消磨_时间阅读(151) 评论(0) 推荐(0)

摘要：抓取三国演义小说# -*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport lxmlif __name__ == "__mai... 阅读全文

posted @ 2020-08-14 10:32 消磨_时间阅读(151) 评论(0) 推荐(0)

摘要：1. 基础import requestsif __name__ == "__main__": # 1. 指定url url = 'https://www.sougou.com/' headers... 阅读全文

posted @ 2020-08-13 15:03 消磨_时间阅读(229) 评论(0) 推荐(0)

摘要：bs4进行数据解析 - 数据解析原理 - 1. 标签定位 - 2. 提取标签, 标签属性中存储的数据值 - bs4数据解析原理 - 1. 实例化一个Beaut... 阅读全文

posted @ 2020-08-13 14:58 消磨_时间阅读(132) 评论(0) 推荐(0)

摘要：jenkins安装插件Gitlab Plugin,Gitlab Hook Pluginjenkins配置 gitlab配置1.全局配置(管理员帐号)2.项目配置如下提示为成功 ... 阅读全文

posted @ 2020-08-01 22:30 消磨_时间阅读(118) 评论(0) 推荐(0)

消磨_时间