扎心了，老铁

2018年11月12日

摘要： ItemLoader 在我们执行scrapy爬取字段中，会有大量的CSS或是Xpath代码，当要爬取的网站多了，要维护起来很麻烦，为解决这类问题，我们可以根据scrapy提供的loader机制。导入ItemLoader 实例化ItemLoader对象要使用Itemloader，必须先将它实例化。阅读全文

posted @ 2018-11-12 10:47 扎心了，老铁阅读(2405) 评论(1) 推荐(1)

爬取伯乐在线文章（四）将爬取结果保存到MySQL

摘要： Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文

posted @ 2018-11-12 09:14 扎心了，老铁阅读(1440) 评论(0) 推荐(1)

2018年11月5日

爬取伯乐在线文章（三）爬取所有页面的文章

摘要：爬取所有页面之前只是爬取某一篇文章的内容，但是如何爬取所有文章修改start_urls = ['http://blog.jobbole.com/all-posts/'] 重新启动scrapy的shell parse函数需要做两件事获取列表页中的所有文章URL 获取所有URL之后将其交给scra 阅读全文

posted @ 2018-11-05 15:07 扎心了，老铁阅读(1751) 评论(0) 推荐(0)

爬取伯乐在线文章（二）通过xpath提取源文件中需要的内容

摘要：爬取说明以单个页面为例，如：http://blog.jobbole.com/110287/ 我们可以提取标题、日期、多少个评论、正文内容等 Xpath介绍 1.　xpath简介（1）　xpath使用路径表达式在xml和html中进行导航（2）　xpath包含标准函数库（3）　xpath是一个阅读全文

posted @ 2018-11-05 10:48 扎心了，老铁阅读(1935) 评论(1) 推荐(0)

2018年10月31日

爬取伯乐在线文章（一）

摘要： Scrapy生成的项目目录文件说明： scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中） items.py 设置数据存储模板，用于结构化数据，如：Django的Model pipelines 数据处理行阅读全文

posted @ 2018-10-31 16:58 扎心了，老铁阅读(2560) 评论(0) 推荐(0)

爬虫去重策略

摘要： 1）使用scrapy自带的set集合去重，当程序结束的时候会被清空，缺点：再次运行会导致数据重复。 2）使用mysql做去重，对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取，执行请求，将加密后的u 阅读全文

posted @ 2018-10-31 16:42 扎心了，老铁阅读(3429) 评论(0) 推荐(0)

正则表达式

摘要：表达式全集常用正则表达式阅读全文

posted @ 2018-10-31 16:41 扎心了，老铁阅读(1539) 评论(0) 推荐(0)

关于爬虫

摘要：技术选型 scrapy VS requests+beautifulsoup 1.　requests+beautifulsoup都是库，而scrapy是框架 2.　scrapy框架中可以加入requests+beautifulsoup 3.　scrapy框架是基于twisted（异步IO框架）的，性能阅读全文

posted @ 2018-10-31 16:35 扎心了，老铁阅读(944) 评论(0) 推荐(2)

2018年10月25日

Scrapy框架

摘要：原理图一原理图二 Scrapy数据流是由执行的核心引擎(engine)控制，流程是这样的： 1、爬虫引擎获得初始请求开始抓取。 2、爬虫引擎开始请求调度程序，并准备对下一次的请求进行抓取。 3、爬虫调度器返回下一个请求给爬虫引擎。 4、引擎请求发送到下载器，通过下载中间件下载网络数据。 5、一旦下阅读全文

posted @ 2018-10-25 16:40 扎心了，老铁阅读(1430) 评论(0) 推荐(0)

在Python虚拟环境中安装scrapy

摘要：虚拟环境安装scrapy 在虚拟环境中执行命令说明：创建Scrapy项目由于PyCharm工具无法创建scrapy项目，所以需要现在cmd中进行创建创建EnterpriseSpider项目按照给出的提示进行操作，其中www.ubaike.cn是红盾网的网址之后使用PyCharm导入新创建阅读全文

posted @ 2018-10-25 16:21 扎心了，老铁阅读(1706) 评论(0) 推荐(0)

扎心了，老铁

公告