摘要：
第一种*******************************************************************************************************************************- settings.py common
阅读全文
posted @ 2019-03-28 22:21
骑骡子赶猪
阅读(162)
推荐(0)
摘要：
1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / backend 用于存储任务执行结果的 3.员工 worker
阅读全文
posted @ 2019-03-11 21:15
骑骡子赶猪
阅读(167)
推荐(0)
摘要：
安装 pip install requests-html#2种方式爬取 博客园from requests_html import HTMLSessionsession=HTMLSession()r=session.get('https://news.cnblogs.com/')#通过CSS找到新闻标
阅读全文
posted @ 2019-03-10 21:22
骑骡子赶猪
阅读(295)
推荐(0)
摘要：
装饰器目的: 不改变原来代码的基础上. 给函数添加新功能动态代理. 拦截器通用装饰器的写法def wrapper(fn): def inner(*args, **kwargs): '''之前''' ret = fn(*args, **kwargs) '''之后''' return ret retur
阅读全文
posted @ 2019-02-21 20:35
骑骡子赶猪
阅读(139)
推荐(0)
摘要：
salalchemy普通操作 创建数据 增加数据 修改数据 查询数据 删除数据 **************************************************************************************************************
阅读全文
posted @ 2019-02-20 13:42
骑骡子赶猪
阅读(143)
推荐(0)
摘要：
首先如下图：（点击next） 第二步：文件位置存储，可根据自己盘的情况安装 第三步：安装配置文件，自己需要的都选上，下一步 第四步：不创建启动文件夹，下一步： 第五步：选择默认的编辑器，我们直接用推荐的就行，下一步 第六步：勾上第二项，这样就可以在cmd中操作，下一步 第七步：使用默认设置就行，下一
阅读全文
posted @ 2019-02-18 20:48
骑骡子赶猪
阅读(138)
推荐(0)
摘要：
python 操作excel 2019-01-07 10:54:28 python 读写 excel 有好多选择，但是，方便操作的库不多，在我尝试了几个库之后，我觉得两个比较方便的库分别是 xlrd/xlwt、openpyxl。 之所以推荐两个库是因为这两个库分别操作的是不同版本的 excel，xl
阅读全文
posted @ 2019-02-18 20:38
骑骡子赶猪
阅读(942)
推荐(0)
摘要：
Fiddler是一个蛮好用的抓包工具，可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。反正好处多多，举之不尽呀！当年学习的时候也蛮费劲，一些蛮实用隐藏的小功能用了之后就忘记了，每次去网站上找也很麻烦，所以搜集各大网络的资料，总结了一些常用的功能。 Fiddl
阅读全文
posted @ 2019-01-25 11:32
骑骡子赶猪
阅读(265)
推荐(1)
摘要：
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据
阅读全文
posted @ 2019-01-16 20:02
骑骡子赶猪
阅读(303)
推荐(0)
摘要：
提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 今日概要 CrawlSpider简介
阅读全文
posted @ 2019-01-15 21:53
骑骡子赶猪
阅读(777)
推荐(0)
浙公网安备 33010602011771号
浙ICP备2021040463号-3