上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 49 下一页
摘要: 在爬虫开发的过程中,我们经常遇到一些 Ajax 加载的接口会返回 JSON 数据。如下图所示,是 Twitter 的用户时间线接口,返回了一段3000多行的深层嵌套 JSON: 其中的cursor这个字段,是请求下一页的必要字段,我必须把它的 value 值读取出来,拼接到请求 URL 中,才能请求 阅读全文
posted @ 2021-01-18 12:50 阿布_alone 阅读(914) 评论(0) 推荐(0)
摘要: 环境配置 Pycharm 专业版 Node.js 在爬虫遇到 JS 加密的时候,通用做法是对 JS 代码进行调试分析加密流程及方法 最终调试完需要将相关代码拿到本地,因为最终是在本地环境执行。这时候可能又会遇到各种参数未定义等报错 所以还需要在本地对 JS 进行调试,查漏补缺。那么我们是不是需要安装 阅读全文
posted @ 2021-01-10 17:55 阿布_alone 阅读(5001) 评论(0) 推荐(0)
摘要: 1.首先下载官网镜像 https://developers.google.com/android/images 根据自己型号选择,我这边是nexus 6p, angler-opm7.181105.004-factory-41baa917.zip 我选择是这个,这个是线刷包,如果文件中的factory 阅读全文
posted @ 2021-01-10 15:57 阿布_alone 阅读(1341) 评论(0) 推荐(0)
摘要: 在 Python 中,一般情况下我们可能直接用自带的 logging 模块来记录日志,包括我之前的时候也是一样。在使用时我们需要配置一些 Handler、Formatter 来进行一些处理,比如把日志输出到不同的位置,或者设置一个不同的输出格式,或者设置日志分块和备份。但其实个人感觉 logging 阅读全文
posted @ 2020-12-25 22:25 阿布_alone 阅读(522) 评论(0) 推荐(0)
摘要: 1.日志级别 1.1 日志级别含义 不同的日志级别代表不同的紧急程度,反应出系统运行的状况,下表是不同日志级别及其适用场景 级别适用场景 DEBUG 记录详细信息,用于程序调试 INFO 记录可证明程序正常执行的信息 WARNING 记录意外信息,此时程序仍可正常执行,但需要关注 ERROR 明显发 阅读全文
posted @ 2020-12-22 22:40 阿布_alone 阅读(137) 评论(0) 推荐(0)
摘要: 示例: query = { "query": { "bool": { "must": [ {"term": {"color": "red"}} ], #当must存在的时候,should中的条件是可有可无的,就是must条件满足就行,should的一个都不用满足也可以 #当must不存在的时候,sh 阅读全文
posted @ 2020-12-22 19:06 阿布_alone 阅读(3106) 评论(1) 推荐(2)
摘要: 概述 首先声明,本文讨论的 watchdog,不是单片机里的 watchdog,也不是 linux 中的 watchdog,而是 python 世界里用来监视文件系统变化的一个第三方模块。在 python 中文件监视主要有两个库,一个是 pyinotify,一个是 watchdog。pyinotif 阅读全文
posted @ 2020-12-14 00:04 阿布_alone 阅读(1813) 评论(0) 推荐(0)
摘要: 代码一: #!/usr/bin/python # -*- coding:UTF-8 -*- import time from watchdog.observers import Observer from watchdog.events import RegexMatchingEventHandle 阅读全文
posted @ 2020-12-13 23:42 阿布_alone 阅读(366) 评论(1) 推荐(0)
摘要: 对于每个程序开发者来说,调试几乎是必备技能。 代码写到一半卡住了,不知道这个函数执行完的返回结果是怎样的?调试一下看看 代码运行到一半报错了,什么情况?怎么跟预期的不一样?调试一下看看 调试的方法多种多样,不同的调试方法适合不同的场景和人群。 如果你是刚接触编程的小萌新,对很多工具的使用还不是很熟练 阅读全文
posted @ 2020-12-13 11:18 阿布_alone 阅读(520) 评论(0) 推荐(0)
摘要: 1.tenacity有什么用? Tenacity是一个通用的retry库,简化为任何任务加入重试的功能。 它还包含如下特性: 通用的装饰器API 可以设定重试停止的条件(比如设定尝试次数) 可以设定重试间的等待时间(比如在尝试之间使用幂数级增长的wait等待) 自定义在哪些Exception进行重试 阅读全文
posted @ 2020-12-13 00:06 阿布_alone 阅读(383) 评论(0) 推荐(0)
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 49 下一页
TOP