摘要：
https://blog.csdn.net/jiduochou963/article/details/87564467 阅读全文
posted @ 2020-04-29 17:46
hanfe1
阅读(1464)
评论(0)
推荐(0)
摘要：
redis数据库基础 一、Redis介绍 Redis 是一个高性能的key value数据格式的内存缓存，NoSQL数据库。NOSQL：not only sql，泛指非关系型数据库。关系型数据库: (mysql, oracle, sql server, sqlite) 非关系型数据库[ redis， 阅读全文
posted @ 2020-04-23 11:03
hanfe1
阅读(312)
评论(0)
推荐(0)
摘要：
1.elinks lynx like替代角色模式WWW的浏览器 例如： elinks dump "http://www.baidu.com" yum search elinks 如果没有这个工具，可查看是需要下载哪些包 2.wget 这个会将访问的首页下载到本地 "root@el5 mq2 ~] w 阅读全文
posted @ 2020-04-15 17:43
hanfe1
阅读(1485)
评论(0)
推荐(1)
摘要：
需求 scrapy+redis分布式爬取58同城北京全站二手房数据 环境 win10 pycharm2019.2 python3.7 scrapy模块| scrapy_redis模块|redis数据库 需求 基于Spider或者CrawlSpider进行二手房信息的爬取 本机搭建分布式环境对二手房信 阅读全文
posted @ 2020-04-13 17:08
hanfe1
阅读(592)
评论(0)
推荐(0)
摘要：
python全栈开发学习笔记 第一章 计算机基础 第二章Python入门 第三章数据类型 第四章文件操作 第五章函数 第六章 模块 第七章 面向对象 第八章 网络编程 第九章 并发编程 第十章 数据库 第十一章 前端开发-html 第十一章 前端开发-css 附加：js特效 15个小demo 第十一 阅读全文
posted @ 2020-04-08 18:11
hanfe1
阅读(517)
评论(0)
推荐(0)
摘要：
爬虫相关笔记 01 爬虫简介 02 requests模块 03 数据解析 04 验证码识别 05 request高级操作 06 高性能异步爬虫 07 selenium模块基本使用 08 scrapy框架 新 scrapy框架 09 M3U8流视频数据爬虫 10 MongoDB数据存储 11 urli 阅读全文
posted @ 2020-04-08 17:59
hanfe1
阅读(1768)
评论(0)
推荐(0)
摘要：
简介 selenium 是一种浏览器自动化的工具，所谓的自动化是指，我们可以通过代码的形式制定一系列的行为动作，然后执行代码，这些动作就会同步触发在浏览器中。 环境安装 下载安装selenium：pip install selenium 下载浏览器驱动程序： http://chromedriver. 阅读全文
posted @ 2020-04-08 17:53
hanfe1
阅读(696)
评论(0)
推荐(0)
摘要：
06 高性能异步爬虫 高性能异步爬虫 线程and线程池 引入 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求 阅读全文
posted @ 2020-04-08 17:52
hanfe1
阅读(493)
评论(0)
推荐(0)
摘要：
简历模板下载拓展 import requests from lxml import etree import os headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 阅读全文
posted @ 2020-04-08 17:50
hanfe1
阅读(945)
评论(0)
推荐(0)
摘要：
04 验证码识别 what is 验证码？ 是一种区分用户是计算机还是人的公共全自动程序。验证码可以防止：恶意破解密码、刷票、论坛灌水，有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试，实际上用验证码是现在很多网站通行的方式，我们利用比较简易的方式实现了这个功能。 验证码 阅读全文
posted @ 2020-04-08 17:46
hanfe1
阅读(538)
评论(0)
推荐(0)
浙公网安备 33010602011771号