2019年8月8日
爬虫请求模块
摘要： 模块名及导入 常用方法详解 (一)urllib.request.urlopen()方法 1.作用 向网站发起请求并获取响应对象 2.参数 3.第一个爬虫程序 打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应 4.相应对象(response)方法 思考：网站如何来 阅读全文
posted @ 2019-08-08 18:01 maplethefox 阅读(545) 评论(0) 推荐(0)
网络爬虫概述
摘要： 网络爬虫概述 一、定义 网络蜘蛛、网络机器人，抓取网络数据的程序。 其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。 二、爬取数据目的 1、获取大量数据，用来做数据分析 2、公司项目的测试数据，公司业务所需数据 三、企业获取数据方式 1、公司自有数据 2、第三方数据平台购 阅读全文
posted @ 2019-08-08 10:54 maplethefox 阅读(620) 评论(0) 推荐(0)
Redis常见问题汇总
摘要： Redis优点 1、读写速度快. 数据存放在内存中2、支持数据类型丰富,string,hash,list,set,sorted3、支持事务4、可以用于缓存,消息队列,按key设置过期时间,到期后自动删除5、支持数据持久化(将内存数据持久化到磁盘),支持AOF和RDB两种持久化方式,从而进行数据恢复操 阅读全文
posted @ 2019-08-08 09:56 maplethefox 阅读(390) 评论(0) 推荐(0)