2017年11月26日
python爬虫scrapy之如何同时执行多个scrapy爬行任务
摘要： 背景： 刚开始学习scrapy爬虫框架的时候，就在想如果我在服务器上执行一个爬虫任务的话，还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务，但是我在这个爬行任务中，写了多个spider，重要的是我想让他们同时运行，怎么办？ 小白解决办法： 1、在spiders同目录 阅读全文
posted @ 2017-11-26 20:42 Charles.L 阅读(10812) 评论(1) 推荐(1)
python爬虫之scrapy的pipeline的使用
摘要： scrapy的pipeline是一个非常重要的模块，主要作用是将return的items写入到数据库、文件等持久化模块，下面我们就简单的了解一下pipelines的用法。 案例一： items池 class ZhihuuserItem(scrapy.Item): # define the field 阅读全文
posted @ 2017-11-26 18:05 Charles.L 阅读(7571) 评论(0) 推荐(0)
pycharm远程linux开发和调试代码
摘要： pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码 阅读全文
posted @ 2017-11-26 09:43 Charles.L 阅读(8145) 评论(0) 推荐(0)
2017年10月25日
python爬虫之初始scrapy
摘要： 简介： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser 阅读全文
posted @ 2017-10-25 15:06 Charles.L 阅读(595) 评论(0) 推荐(0)
python爬虫之Anaconda安装
摘要： Anaconda概述 Anaconda是一个用于科学计算的Python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和envir 阅读全文
posted @ 2017-10-25 10:18 Charles.L 阅读(2313) 评论(0) 推荐(0)
python爬虫之scrapy安装（一）
摘要： 简介： Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如Ba 阅读全文
posted @ 2017-10-25 09:17 Charles.L 阅读(3296) 评论(0) 推荐(0)
2017年10月19日
python爬虫之redis环境简单部署
摘要： Redis 简介 Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的ke 阅读全文
posted @ 2017-10-19 16:05 Charles.L 阅读(1292) 评论(0) 推荐(0)
2017年10月18日
python爬虫之Phantomjs安装和使用
摘要： phantomjs： PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。 phantomjs： 1、无UI界面的网站测试 2、屏幕快照 3、页面操作自动化 官方文档：http://phan 阅读全文
posted @ 2017-10-18 22:38 Charles.L 阅读(4842) 评论(0) 推荐(0)
python爬虫之win7Mongod安装使用
摘要： 1、下载地址：https://www.mongodb.com/download-center#community 下载完成以后下一步下一步安装。 安装路径 还需要建立一个数据库存储位置C:\mongodb\data\db 2、添加环境变量，然后打开cmd执行如下命令告诉数据库数据存储位置。 #mon 阅读全文
posted @ 2017-10-18 17:20 Charles.L 阅读(394) 评论(0) 推荐(0)
2017年10月16日
python爬虫之PyQuery的基本使用
摘要： PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。官网地址：http 阅读全文
posted @ 2017-10-16 11:40 Charles.L 阅读(53600) 评论(1) 推荐(8)