摘要: 代码 阅读全文
posted @ 2019-04-22 17:49 Zhuang_Z 阅读(918) 评论(1) 推荐(0)
摘要: 1.什么是Haystack 2.安装 3.配置 添加Haystack到INSTALLED_APPS 跟大多数Django的应用一样,你应该在你的设置文件(通常是settings.py)添加Haystack到INSTALLED_APPS. 示例: 修改settings.py 在你的settings.p 阅读全文
posted @ 2019-04-22 17:48 Zhuang_Z 阅读(280) 评论(0) 推荐(0)
摘要: 1.什么是Celery Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 celery支持linux,如果windows使用celery出了问题不解决 Celery架构 Celery的架构由三部分组成,消息中间件(message bro 阅读全文
posted @ 2019-04-22 17:41 Zhuang_Z 阅读(1269) 评论(1) 推荐(0)
摘要: 简介 Scrapy一个开源和协作的框架,其最初是为了页面抓取所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Serv 阅读全文
posted @ 2019-04-22 17:25 Zhuang_Z 阅读(176) 评论(0) 推荐(0)
摘要: 简介 需要的工具软件 手机APP爬取流程 阅读全文
posted @ 2019-04-22 17:11 Zhuang_Z 阅读(619) 评论(0) 推荐(0)
摘要: 一.MongoDB 二.MongoDB安装 三.重要概念 四.使用 1.创建账号 2.开启账户认证 账号检测 五.Mongodb操作 1.库的操作 2.集合的操作 集合是一个存储数据元素的容器类比mysql中的表 3.记录的(文档)操作 插入数据 查询数据 修改数据 删除数据 六.可视化 七.pym 阅读全文
posted @ 2019-04-22 17:10 Zhuang_Z 阅读(240) 评论(0) 推荐(0)
摘要: xpath解析数据 阅读全文
posted @ 2019-04-22 16:58 Zhuang_Z 阅读(577) 评论(0) 推荐(0)
摘要: 安装 基本使用 解析数据 等待元素加载 动作链 补充 案例:爬取天猫汽车 阅读全文
posted @ 2019-04-22 16:58 Zhuang_Z 阅读(290) 评论(0) 推荐(0)
摘要: beautifulSoup模块 查找元素 1.bs遍历文档树 2.bs搜索文档树 1.find_all() 2.find() 3、CSS选择器 案例:爬取汽车之家新闻 案例:爬取中关村测评数据 阅读全文
posted @ 2019-04-22 16:55 Zhuang_Z 阅读(239) 评论(0) 推荐(0)
摘要: 一、爬虫简介 什么是爬虫? 爬虫的价值 爬虫的流程 爬虫处理反扒的措施? 二、HTTP请求分析 请求的流程分析 三、requests模块的使用 response属性 请求函数参数详解 在通过requests.post()进行POST请求时,传入报文的参数有两个,一个是data,一个是json。 da 阅读全文
posted @ 2019-04-22 16:52 Zhuang_Z 阅读(548) 评论(0) 推荐(0)