随笔分类 -  爬虫

redis 分布式
摘要：主要内容:https://segmentfault.com/a/1190000014333162?utm_source=channel-hottest 1 分布式爬虫的概念: day08 scrapy是python界出名的一个爬虫框架。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框 阅读全文
posted @ 2019-01-16 21:56 ...绿茵 阅读(160) 评论(0) 推荐(0)
135 scrapy框架使用selenium爬取动态网页的数据, crawlspider
摘要：主要内容: 爬虫第七天 1 使用scrapy+selenium爬取动态网页的数据: 2 crawlspider: 比较适用于对网站爬取批量网页, 相比于Spider类，CrawlSpider主要使用规则(rules)来提取链接. import scrapy from scrapy.linkextra 阅读全文
posted @ 2019-01-15 21:39 ...绿茵 阅读(1011) 评论(0) 推荐(0)
134 scrapy框架详解, 配置文件的设置, 请求传参, 代理池, 中间件的设置
摘要：主要内容: 1 scrapy框架的详解:https://blog.csdn.net/qq_37143745/article/details/80996707 a : 各部分的功能: Spiders(爬虫):它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的 阅读全文
posted @ 2019-01-14 21:23 ...绿茵 阅读(285) 评论(0) 推荐(0)
133 scrapy框架
摘要：主要内容: 1 在scrapy框架中获取需要的字符串的方法: img_url = 'http://pic.netbian.com'+li.xpath("./a/span/img/@src").extract_first() img_url = 'http://pic.netbian.com'+li. 阅读全文
posted @ 2019-01-14 21:12 ...绿茵 阅读(112) 评论(0) 推荐(0)
同步和异步的区别
摘要：主要内容: 同步.异步 https://www.cnblogs.com/weiyi1314/p/6723913.html 阻塞非阻塞 https://www.cnblogs.com/orez88/articles/2513460.html 阅读全文
posted @ 2019-01-10 21:48 ...绿茵 阅读(123) 评论(0) 推荐(0)
132 scrapy框架的认识, 移动端数据爬取, 多线程
摘要：主要内容: spider: 写的特别好https://www.cnblogs.com/x-pyue/p/7795315.html 1 多线程数据爬取 import requests from lxml import etree import random import re from multipr 阅读全文
posted @ 2019-01-10 21:41 ...绿茵 阅读(385) 评论(0) 推荐(0)
131 乱码处理 验证码, session
摘要：1 乱码处理: 2 验证码 问题 3 云打码 : 'http://api.yundama.com/api.php' 使用流程: 4 代理: proxies: https://jingyan.baidu.com/article/4f7d5712101fdd1a2119276c.html a : 代理的 阅读全文
posted @ 2019-01-09 18:08 ...绿茵 阅读(335) 评论(0) 推荐(0)
129 爬虫 requests request 爬图片
摘要：主要内容: 1 爬虫理论: a 爬虫的概念: 编写程序模拟浏览器上网, 然后让其去网上爬取数据的过程 b 爬虫的分类: 通用爬虫: 搜索引擎“抓取系统（爬虫程序）”的重要组成部分。 聚焦爬虫: 根据指定的需求抓取页面中指定的内容。 c 反爬机制:门户网站给通过相关的技术手段或者策略来阻止爬虫进行数据 阅读全文
posted @ 2019-01-07 21:55 ...绿茵 阅读(1165) 评论(0) 推荐(0)

1