摘要： 装饰器 装饰器是程序开发中经常会用到的一个功能，用好了装饰器，开发效率如虎添翼，所以这也是Python面试中必问的问题，但对于好多初次接触这个知识的人来讲，这个功能有点绕，自学时直接绕过去了，然后面试问到了就挂了，因为装饰器是程序开发的基础知识，这个都不会，别跟人家说你会Python, 看了下面的文 阅读全文

摘要： python 闭包 1. 函数引用 运行结果: 2. 什么是闭包 运行结果： 3. 闭包再理解 内部函数对外部函数作用域里变量的引用（非全局变量），则称内部函数为闭包。 启动python解释器 4. 看一个闭包的实际例子： 这个例子中，函数line与变量a,b构成闭包。在创建闭包的时候，我们通过li 阅读全文

摘要： 指定offset: #pip install kafka-pythonimport gzip from kafka import KafkaConsumer from kafka import TopicPartition consumer = KafkaConsumer(bootstrap_ser 阅读全文

摘要： 执行SQL： 阅读全文

摘要： 参考：http://www.360doc.com/content/18/0206/20/33459258_728200560.shtml 阅读全文

摘要： celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor 操作步 阅读全文

摘要： 安装Mysql (否则后面 pip install mysql) 无法安装 pip 依赖： airflow-LocalExecutor mysql-airflow pip install mysqlclient 在mysql上执行 create database airflow; —— 创建数据库 阅读全文

摘要： 使用请参考官网： https://airflow.apache.org/ 具体配置，依赖，可以参考：https://www.jianshu.com/p/5c17846835e7 0. 环境： python 3.7 1.设置环境变量： 默认的配置 如果不修改airflow 配置文件 $AIRFLOW_ 阅读全文

摘要： 依赖：pip install retrying 在爬虫代码的编写中，requests请求网页的时候常常请求失败或错误，一般的操作是各种判断状态和超时，需要多次重试请求，这种情况下，如果想优雅的实现功能，可以学习下retrying包下的retry装饰器的使用 安装：pip install retryi 阅读全文

该文被密码保护。 阅读全文