上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 20 下一页
2019年8月9日
爬虫学习索引
摘要： 索引目录 1.网络爬虫概述 2.爬虫请求模块 3.数据持久化存储 4.requests模块 5.Chrome浏览器安装插件 6.xpath解析.lxml解析库 7.request.get()和代理参数 8.requests.post() 9.动态加载数据抓取-Ajax 10.多线程爬虫 11.coo 阅读全文
posted @ 2019-08-09 20:04 maplethefox 阅读(496) 评论(0) 推荐(0)
Chrome浏览器安装插件
摘要： Chrome浏览器安装插件 1.安装方法 2.需要安装插件 爬虫常用插件 阅读全文
posted @ 2019-08-09 17:48 maplethefox 阅读(419) 评论(0) 推荐(0)
requests模块
摘要： 一安装 1.linux sudo pip3 install requests 2.windows 二常用方法 (一)requests.get() 1.作用 2.参数 3.相应对象(res)属性 4.非结构化数据保存 5.示例:保存赵丽颖图片到本地 6.练习 阅读全文
posted @ 2019-08-09 17:28 maplethefox 阅读(416) 评论(0) 推荐(0)
数据持久化存储
摘要： 一数据持久化存储-csv文件 1.作用 将爬取的数据存放到本地的csv文件中 2.使用流程 3.示例代码 创建text.csv文件,在文件中写入数据 练习:猫眼电影数据存入本地 maoyanfilm.csv 文件 - 使用writerow方法实现 思考：使用 writerows()方法实现？ imp 阅读全文
posted @ 2019-08-09 15:26 maplethefox 阅读(965) 评论(0) 推荐(0)
2019年8月8日
爬虫请求模块
摘要： 模块名及导入 常用方法详解 (一)urllib.request.urlopen()方法 1.作用 向网站发起请求并获取响应对象 2.参数 3.第一个爬虫程序 打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应 4.相应对象(response)方法 思考：网站如何来 阅读全文
posted @ 2019-08-08 18:01 maplethefox 阅读(516) 评论(0) 推荐(0)
网络爬虫概述
摘要： 网络爬虫概述 一、定义 网络蜘蛛、网络机器人，抓取网络数据的程序。 其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。 二、爬取数据目的 1、获取大量数据，用来做数据分析 2、公司项目的测试数据，公司业务所需数据 三、企业获取数据方式 1、公司自有数据 2、第三方数据平台购 阅读全文
posted @ 2019-08-08 10:54 maplethefox 阅读(609) 评论(0) 推荐(0)
Redis常见问题汇总
摘要： Redis优点 1、读写速度快. 数据存放在内存中2、支持数据类型丰富,string,hash,list,set,sorted3、支持事务4、可以用于缓存,消息队列,按key设置过期时间,到期后自动删除5、支持数据持久化(将内存数据持久化到磁盘),支持AOF和RDB两种持久化方式,从而进行数据恢复操 阅读全文
posted @ 2019-08-08 09:56 maplethefox 阅读(369) 评论(0) 推荐(0)
2019年8月7日
分布式锁和Redis事务
摘要： 分布式锁 一、高并发产生的问题? 1、购票: 多个用户抢到同一张票？ 2、购物: 库存只剩1个,被多个用户成功买到？ ... ... 二、怎么办 在不同进程需要互斥地访问共享资源时，分布式锁是一种非常有用的技术手段 三、原理 1、多个客户端先到redis数据库中获取一把锁,得到锁的用户才可以操作数据 阅读全文
posted @ 2019-08-07 17:23 maplethefox 阅读(299) 评论(0) 推荐(0)
Redis主从复制
摘要： Redis主从复制 一、定义 1、一个Redis服务可以有多个该服务的复制品，这个Redis服务成为master，其他复制品成为slaves 2、master会一直将自己的数据更新同步给slaves，保持主从同步 3、只有master可以执行写命令，slave只能执行读命令('主'负责写,修改,'从 阅读全文
posted @ 2019-08-07 16:41 maplethefox 阅读(279) 评论(0) 推荐(0)
数据持久化
摘要： 数据持久化 一持久化定义 将数据从掉电易失的内存放到永久存储的设备上 二为什么需要持久化 因为所有的数据都在内存上,所以必须得持久化 一数据持久化分类之 - RDB模式（默认开启） (一)默认模式 1、保存真实的数据2、将服务器包含的所有数据库数据以二进制文件的形式保存到硬盘里面3、默认文件名 ：/ 阅读全文
posted @ 2019-08-07 13:26 maplethefox 阅读(721) 评论(0) 推荐(0)
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 20 下一页