上一页 1 ··· 26 27 28 29 30 31 32 33 34 ··· 49 下一页
摘要: 一.环境准备 远程服务器必须装有scapyd,我们使用的机器必须有scrapy-client(我这里是windows),并确保这两者正常安装并启动。 二.客户端准备上传 首先进入到爬虫项目的根文件夹: 这样就是成功了。 三.配置爬虫项目 打开爬虫项目中的scrapy.cfg文件,这个文件就是给scr 阅读全文
posted @ 2019-04-27 00:07 阿布_alone 阅读(673) 评论(0) 推荐(0)
摘要: 1. pip安装 这里推荐使用pip安装,相关命令如下: 2.验证安装 安装成功后会有一个可用命令,叫作scrapyd-deploy,即部署命令。 我们可以输入如下测试命令测试Scrapyd-Client是否安装成功: 如果出现类似如图1-86所示的输出,则证明Scrapyd-Client已经成功安 阅读全文
posted @ 2019-04-26 22:53 阿布_alone 阅读(683) 评论(0) 推荐(0)
摘要: 安装好了Scrapyd之后,我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如,某台主机的IP为192.168.1.1,则可以直接运行如下命令获取当前主机的所有Scrapy项目: 运行结果如下: 1 {"status": "ok", "projects": ["myproj 阅读全文
posted @ 2019-04-26 22:33 阿布_alone 阅读(719) 评论(0) 推荐(0)
摘要: .安装 二.配置 安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,Scrapyd在运行的时候会读取此配置文件。 在Scrapyd 1.2版本之后,不会自动创建该文件,需要我们自行添加。 首先,执行如下命令新建文件: 接着写入如下内容: 中之一是max_proc_ 阅读全文
posted @ 2019-04-26 22:26 阿布_alone 阅读(429) 评论(0) 推荐(0)
摘要: 一.配置好fiddler和手机 二.抓包 打开快手APP,Fiddler会快速显示很多信息,这些都是手机传送或者接收到的信息。可以逐个包点开,以json形式查看是否是我们需要的内容,如下图所示: 这时可以看到,有一个包里显示了很多信息,包括视频的标题,发布者,再往下拉,发现里面包含很多叫做“main 阅读全文
posted @ 2019-04-25 23:29 阿布_alone 阅读(5976) 评论(0) 推荐(0)
摘要: import 是 Python 中的天然单例模式,我最先推荐这种方式。 创建两个文件 signletion.py signletion_import.py,文件内容如下 运行结果只输出一次 new instance,代表只生成一个实例,创建单例成功,后续我们都用这种验证方式。 使用 new 方法 直 阅读全文
posted @ 2019-04-24 23:37 阿布_alone 阅读(315) 评论(0) 推荐(0)
摘要: 1.jd.py # -*- coding: utf-8 -*- import scrapy from copy import deepcopy import json import urllib from scrapy_redis.spiders import RedisSpider from Ji 阅读全文
posted @ 2019-04-24 22:39 阿布_alone 阅读(531) 评论(0) 推荐(0)
摘要: 一.简介 saltstack是由thomas Hatch于2011年创建的一个开源项目,设计初衷是为了实现一个快速的远程执行系统。 二.诞生的背景 系统管理员日常会进行大量的重复性操作,例如安装软件,修改配置文件,创建用户,批量执行命令等等。如果主机数量庞大,单靠人工维护实在让人难以忍受。 早期运维 阅读全文
posted @ 2019-04-24 19:08 阿布_alone 阅读(480) 评论(0) 推荐(0)
摘要: 一.schedule schedule库是一个轻量级的定时任务方案,优势是使用简单,也不需要做什么配置;缺点是无法动态添加任务,也无法将任务持久化。 1.安装 2. 使用 阅读全文
posted @ 2019-04-23 23:27 阿布_alone 阅读(718) 评论(0) 推荐(0)
摘要: 一.安装与简介 1.安装 官方文档:https://apscheduler.readthedocs.io/en/latest/# 2.简介 调度器工作流程: 二.案例 1.hello world 解释: 结果: 除了上述添加作业的方法,还可以使用装饰器 如果同一个方法被添加到多个任务重,则需要指定任 阅读全文
posted @ 2019-04-23 23:18 阿布_alone 阅读(9049) 评论(0) 推荐(0)
上一页 1 ··· 26 27 28 29 30 31 32 33 34 ··· 49 下一页
TOP