2019年11月28日
Scrapy框架——介绍、安装、命令行创建，启动、项目目录结构介绍、Spiders文件夹详解（包括去重规则）、Selectors解析页面、Items、pipelines（自定义pipeline）、下载中间件（Downloader Middleware）、爬虫中间件、信号
摘要： 一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2019-11-28 21:24 只会玩辅助 阅读(866) 评论(0) 推荐(0)
存储库之MongoDB
摘要： 一、简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库（非关系型数据库） 1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。 不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“ 阅读全文
posted @ 2019-11-28 19:53 只会玩辅助 阅读(321) 评论(0) 推荐(0)