Mars.wang - 博客园

2020年11月4日

摘要： airflow是一个常驻任务，我们希望它在任务失败后可以自动重启，systemd可以帮助我们实现这个功能，首先需要配置如下文件 /etc/sysconfig/airflow AIRFLOW_CONFIG=/root/airflow/airflow.cfg AIRFLOW_HOME=/root/air 阅读全文

posted @ 2020-11-04 15:43 Mars.wang 阅读(1504) 评论(0) 推荐(0)

airflow分布式部署（四）airflow环境变量与参数配置

摘要：前面三步做完以后，就可以配置airflow的环境变量了在此之前，可能需要先安装下依赖包 yum install mysql-devel gcc gcc-devel python-devel 之后切换到python36 conda activate py36 找到airflow的安装目录，配置到环境阅读全文

posted @ 2020-11-04 13:22 Mars.wang 阅读(3013) 评论(0) 推荐(0)

airflow分布式部署（三）redis安装

摘要： airflow一般以rabbitMQ或redis作为broker，rabbitMQ安装比较复杂，故本次选了redis yum -y install redis sudo vim /etc/redis.conf #bind 127.0.0.1 // 注释掉，使redis允许远程访问 #修改密码为air 阅读全文

posted @ 2020-11-04 11:46 Mars.wang 阅读(1207) 评论(0) 推荐(0)

airflow分布式部署（二）mysql安装

摘要： airflow生产环境一般以mysql作为元数据库，所以需要安装mysql 下载mysql的repo源 wget -P /root http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm #通过rpm安装 rpm -ivh mys 阅读全文

posted @ 2020-11-04 11:43 Mars.wang 阅读(648) 评论(0) 推荐(0)

airflow分布式部署（一）Python环境

摘要：一、Python环境安装 airflow依赖Python3，所以安装之前需要保证服务器有Python环境 #安装Python3 #安装依赖环境 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel 阅读全文

posted @ 2020-11-04 11:37 Mars.wang 阅读(1252) 评论(0) 推荐(0)

2020年10月30日

向Python脚本传参数

摘要： from airflow.hooks.oracle_hook import OracleHook import sys import argparse oracle_conn = OracleHook.get_hook(conn_id='etbc_oracle') #查数据量 def get_cou 阅读全文

posted @ 2020-10-30 16:32 Mars.wang 阅读(120) 评论(0) 推荐(0)

2020年10月21日

借用GUI批量处理图片

摘要： import os import tkinter as tk from PIL import Image """ 将python.py文件打包为exe文件 pip install pyinstaller pyinstaller -F photo_process_gui.py """ dpi = 96 阅读全文

posted @ 2020-10-21 11:08 Mars.wang 阅读(146) 评论(0) 推荐(0)

2020年9月7日

程序员必备开源软件

摘要：最近开发环境从Mac又变回Windows，重新配置环境，发现Windows上的软件还是不如Mac上的好用。一直以来要么就是用开源的软件，要么就是各种破解版，现在的破解版也越来越不好找了，只好都用开源的替代。一、IDE IDEA社区版： java开发IDE Pycharm社区版：Python开发I 阅读全文

posted @ 2020-09-07 16:22 Mars.wang 阅读(673) 评论(0) 推荐(0)

2020年9月4日

python经典orm框架sqlalchemy

摘要：在一般的项目中，简单的访问数据库用pymysql就可以了，手写一些SQL也没有什么问题，但是对于一个大型系统，可能面对多次的数据库增删改查操作，如果都用手写SQL实现，代码会显得很难看，开发效率也比较低，这个时候就推荐使用orm框架了。 python的orm框架有很多，我最早接触的是django的内阅读全文

posted @ 2020-09-04 16:09 Mars.wang 阅读(1530) 评论(0) 推荐(0)

python定时任务框架APSchedule

摘要：一直想做一个分布式的调度系统，但不知道如何实现类似crontab那样的定时调度，发现有现成的轮子可用，那就是——APSchedule 它有三种调度方式，分别是 date 日期：触发任务运行的具体日期 interval 间隔：触发任务运行的时间间隔 cron 周期：触发任务运行的周期下面以案例的方式阅读全文

posted @ 2020-09-04 14:45 Mars.wang 阅读(1177) 评论(0) 推荐(0)