摘要：
2. kafka 在centos7上的安装 2.1 因为kafka是使用zookeeper保存相关的配置信息的，kafka以及zookeeper依赖于java运行环境，先进行java的JDK环境安装 因为centos7上游jdk1.8环境，所以无需安装配置java 2.2 安装zookeeper 1 阅读全文
摘要：
0. 概念 0.1 消息系统 消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，而不用担心怎么去共享它。 1）点对点消息系统： 消息被保留在队列中，一个或多个消费者可以消耗队列中的消息，但是特定的消息只能由一个消费者消费，一旦消费掉了，消息就会从队列中消失。 2）发布 阅读全文
摘要：
sql 回顾（mysql） 1. mysql数据类型 一共三种：Text、Number、Data/Time 1.1 Text 1.2 Number 1.3 Date 2. CRUD 3. 高级查询 1）limit select from table_name limit x // 限制行数 2）li 阅读全文
摘要：
1. 核心功能 1.1 DAGs 有向无环图 反映所涉及的task的依赖关系 注：搜索dag的时候，airflow只会关注同事包含"DAG"和"airflow"字样的py文件 1.2 scope airflow将加载任何可以从DAG file中import的DAG对象，但是它们必须出现在global 阅读全文
摘要：
1. centos7 下安装celery 1.1 安装pip 1.2 更新pip 1.3 安装celery 1.4 中间人安装，选择使用redis 1.4.1 安装redis 1.4.2 安装额外依赖 1.4.3 redis在celery下的使用配置 1）使用配置，只需要设置redis的位置： 2） 阅读全文
摘要：
1. 安装插件 "airflow rest api" 1）获取 2）将plugin文件夹下的内容放入airflow/plugin/下，若不存在则新建 3）重启airflow 2. api使用介绍 2.1 获取airflow版本 GET http://{HOST}:{PORT}/admin/rest_ 阅读全文
摘要：
1. Operator和task 简单来说，Operator就是task的抽象类 2. BaseOperator 所有的功能性Operator的来源 2.1 参数： 2.2 方法 2.3 可调用值 3. BaseSensorOperator 基于 airflow.models.BaseOperato 阅读全文
摘要：
1. airflow完整安装流程 1.1 airflow 基础安装 1）默认自带python2环境，自行安装pip 2）进行pip的更新，否则很多安装会报错 3）安装开发库 4）安装centos7下的mysql 5）初始化配置mysql 注：可以设定允许root远程登录，并且删除test和None用 阅读全文
摘要：
1. 备份数据库内容 mysqldump uroot p all databases /opt/database dump.sql 2. 停止mysql并清除（前提是备份好数据库内容） 3. 添加mariadb下载源 4. 清理yum缓存 5. 下载 阅读全文
摘要：
今天咱写一个挺实用的工具，就是扫描并获取可用的proxy 首先呢，我先百度找了一个网站：http://www.xicidaili.com 作为例子 这个网站里公布了许多的国内外可用的代理的ip和端口 我们还是按照老样子进行分析，就先把所有国内的proxy扫一遍吧 点开国内部分进行审查发现，国内pro 阅读全文