摘要: scrapy的pipeline是一个非常重要的模块,主要作用是将return的items写入到数据库、文件等持久化模块,下面我们就简单的了解一下pipelines的用法。 案例一: items池 class ZhihuuserItem(scrapy.Item): # define the field 阅读全文
posted @ 2017-11-26 18:05 Charles.L 阅读(7517) 评论(0) 推荐(0) 编辑
摘要: pycharm是一个非常强大的python开发工具,现在很多代码最终在线上跑的环境都是linux,而开发环境可能还是windows下开发,这就需要经常在linux上进行调试,或者在linux对代码进行编写,而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码 阅读全文
posted @ 2017-11-26 09:43 Charles.L 阅读(8080) 评论(0) 推荐(0) 编辑
摘要: 简介: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser 阅读全文
posted @ 2017-10-25 15:06 Charles.L 阅读(577) 评论(0) 推荐(0) 编辑
摘要: Anaconda概述 Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和envir 阅读全文
posted @ 2017-10-25 10:18 Charles.L 阅读(2241) 评论(0) 推荐(0) 编辑
摘要: 简介: Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如Ba 阅读全文
posted @ 2017-10-25 09:17 Charles.L 阅读(3268) 评论(0) 推荐(0) 编辑
摘要: Redis 简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的ke 阅读全文
posted @ 2017-10-19 16:05 Charles.L 阅读(1269) 评论(0) 推荐(0) 编辑
摘要: phantomjs: PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG。 phantomjs: 1、无UI界面的网站测试 2、屏幕快照 3、页面操作自动化 官方文档:http://phan 阅读全文
posted @ 2017-10-18 22:38 Charles.L 阅读(4803) 评论(0) 推荐(0) 编辑
摘要: 1、下载地址:https://www.mongodb.com/download-center#community 下载完成以后下一步下一步安装。 安装路径 还需要建立一个数据库存储位置C:\mongodb\data\db 2、添加环境变量,然后打开cmd执行如下命令告诉数据库数据存储位置。 #mon 阅读全文
posted @ 2017-10-18 17:20 Charles.L 阅读(373) 评论(0) 推荐(0) 编辑
摘要: PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了。官网地址:http 阅读全文
posted @ 2017-10-16 11:40 Charles.L 阅读(53281) 评论(1) 推荐(8) 编辑
摘要: 一、简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 参照 二、安装 三、使用 1、导入 2、基本使用 从下 阅读全文
posted @ 2017-09-11 17:43 Charles.L 阅读(230288) 评论(9) 推荐(20) 编辑