随笔分类 -  第十三篇 爬虫

​ 爬虫是一个模仿浏览器行为，向服务器发送请求并且获得数据的应用程序。而互联网好比一张大网，数据是网上的猎物，爬虫就是蜘蛛
五. 爬虫 案例(前面知识点整合)
摘要：一 .案例 1.使用requuests(get,post) 和urllib 爬取数据 https://www.cnblogs.com/lovershowtime/p/11771338.html 2. 使用requuests 正则爬取数据 https://www.cnblogs.com/loversh 阅读全文
posted @ 2019-11-01 15:31 supreme999 阅读(1391) 评论(0) 推荐(0)
六 . 爬虫 Xpath介绍和使用
摘要：一 .Xpath介绍和使用 https://www.cnblogs.com/pythonywy/p/11082153.html 1. 简介 2. 使用 <html><body><div>&#13;<ul>&#13;<li class="item-0"><a href="link1.html">fir 阅读全文
posted @ 2019-11-01 14:52 supreme999 阅读(502) 评论(0) 推荐(0)
五. 爬虫 正则表达式
摘要：一 正则表达式 https://www.cnblogs.com/Sup-to/p/10854522.html 1. re模模块 1.基本用法 2.正则匹配常用格式 3.re.findall(正则匹配的格式,匹配的对象,re.S) 4.re.match和re.search 5.re.compile 6 阅读全文
posted @ 2019-11-01 13:51 supreme999 阅读(178) 评论(0) 推荐(0)
四 . 爬虫 BeautifulSoup库参数和使用
摘要：一 .BeautifulSoup库使用和参数 1 .Beautiful简介 2. 常用解析库 3. 基本使用 4. 标签选择器 5. 获取名称 6. 获取属性 7. 获取内容 8 .嵌套选择 9. 子节点和子孙节点(contents的使用)和children的使用 contents的使用 child 阅读全文
posted @ 2019-10-31 15:57 supreme999 阅读(5113) 评论(0) 推荐(1)
三 . 爬虫 url编码
摘要：一 . url编码 1.url编码本质 2.url编码流程 3. python中调用库进行url编码和解码 阅读全文
posted @ 2019-10-31 15:55 supreme999 阅读(447) 评论(0) 推荐(0)
二 . 爬虫 requests模块使用 urllib模块 和 请求响应相关参数
摘要：一 . requests模块使用 和 请求响应相关参数 https://www.cnblogs.com/wupeiqi/articles/6283017.html 1. requests get请求相关参数 2. requests post请求相关参数 3. request请求 4. 响应相关参数 阅读全文
posted @ 2019-10-31 15:14 supreme999 阅读(405) 评论(0) 推荐(0)
一 . 爬虫
摘要：一. 爬虫介绍 爬虫的流程 浏览器行为 Http协议 常见的反爬手段 1. 爬虫介绍 2. 爬虫流程 3. 浏览器行为 4. Http协议中需要关注的 5. 常见的反爬手段 阅读全文
posted @ 2019-10-31 14:43 supreme999 阅读(179) 评论(0) 推荐(0)