2019年7月3日
摘要：
这篇文章主要介绍了Python与Redis的连接教程,Redis是一个高性能的基于内存的数据库,需要的朋友可以参考下 今天在写zabbix storm job监控脚本的时候用到了python的redis模块，之前也有用过，但是没有过多的了解，今天看了下相关的api和源码,看到有ConnectionP 阅读全文
posted @ 2019-07-03 17:24
KD_131
阅读(6416)
评论(0)
推荐(0)
摘要：
这个RedisCrawlSpider类爬虫继承了RedisCrawlSpider，能够支持分布式的抓取。因为采用的是crawlSpider，所以需要遵守Rule规则，以及callback不能写parse()方法。 同样也不再有start_urls了，取而代之的是redis_key，scrapy-re 阅读全文
posted @ 2019-07-03 17:15
KD_131
阅读(330)
评论(0)
推荐(0)
摘要：
可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的url。 clas 阅读全文
posted @ 2019-07-03 16:19
KD_131
阅读(190)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/huwei934/tag/django/ 阅读全文
posted @ 2019-07-03 16:14
KD_131
阅读(109)
评论(0)
推荐(0)
摘要：
os.path.join()函数：连接两个或更多的路径名组件 1.如果各组件名首字母不包含’/’，则函数会自动加上 2.如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃 3.如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾 Demo1 import os Path1 = 'hom 阅读全文
posted @ 2019-07-03 16:05
KD_131
阅读(724)
评论(0)
推荐(0)
摘要：
引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # 阅读全文
posted @ 2019-07-03 10:57
KD_131
阅读(333)
评论(0)
推荐(0)
摘要：
需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。 分析： 1.首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具 阅读全文
posted @ 2019-07-03 10:53
KD_131
阅读(812)
评论(0)
推荐(0)
摘要：
轉：https://blog.csdn.net/mjjyszazc/article/details/88932664 方式一： userid = “123”sql = “select id,name from user where id = ‘%s’” % useridcur.execute(sql 阅读全文
posted @ 2019-07-03 10:04
KD_131
阅读(1536)
评论(0)
推荐(0)
浙公网安备 33010602011771号