随笔分类 -  爬虫

摘要：转自：https://github.com/Kr1s77/Python-crawler-tutorial-starts-from-zero/blob/master/%E7%BD%91%E7%BB%9C%E8%AF%B7%E6%B1%82%E6%A8%A1%E5%9D%97%E7%9A%84%E4%B 阅读全文

摘要：爬虫目录 1 request基础 1.1 request 详解版 爬虫-selenium 2 数据解析-selenium（pandas） 3 Scrapy框架 4 爬虫实战 阅读全文

摘要：requests模块 - 1.什么是requests模块 - python原生一个基于网络请求的模块，模拟浏览器发起请求。 - 2.为什么要使用requests模块 - 1.自动处理url编码 - 2.自动处理post请求的参数 - 3.简化cookie的代理的操作： cookie操作： - 创建一 阅读全文

摘要：Scrapy - 什么是框架？ - 就是一个集成了很多功能并且具有很强通用性的一个项目模板。- 如何学习框架？ - 专门学习框架封装的各种功能的详细用法。- 什么是scrapy？ - 爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式-qiubaiPro. 阅读全文

摘要：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 相关资源： https://www.liaoxuefeng.com/wiki/10169596 阅读全文

摘要：爬虫文件剖析： # -*- coding: utf-8 -*- import scrapy class QiubaiSpider(scrapy.Spider): name = 'qiubai' #应用名称 #允许爬取的域名（如果遇到非该域名的url则爬取不到数据） allowed_domains = 阅读全文