摘要:之前接到一个做数据报表的需求,当时准备使用echarts自己画。后来考虑时间来不及,着急要,再加上一直在使用阿里云的产品,就在阿里云上个找了找数据大屏的服务。于是很快做出了一款。 然后看到 https://developer.aliyun.com/article/726175?spm=5176.12 阅读全文
posted @ 2019-12-04 14:18 Ryan.Miao 阅读 (51) 评论 (0) 编辑
摘要:一直以来,我都是 来启动springboot项目的。今天突然发现,springboot自动封装了一个bootJar的任务脚本。 demo: https://github.com/Ryan Miao/Spring Cloud Greenwich Demo/commit/ed47988218f59d2c 阅读全文
posted @ 2019-12-04 09:38 Ryan.Miao 阅读 (29) 评论 (0) 编辑
摘要:看到一个有意思的小程序,想了解是如何实现的,于是找了反编译方法。 安装adb驱动 百度安装adb驱动, 设计设置开发者模式,连接电脑。 表示连接成功 反编译程序 备份地址: https://github.com/Ryan Miao/wxappUnpacker 原地址: https://github. 阅读全文
posted @ 2019-11-04 16:34 Ryan.Miao 阅读 (113) 评论 (0) 编辑
摘要:Airflow自定义插件 =============== Airflow之所以受欢迎的一个重要因素就是它的插件机制。Python成熟类库可以很方便的引入各种插件。在我们实际工作中,必然会遇到官方的一些插件不足够满足需求的时候。这时候,我们可以编写自己的插件。不需要你了解内部原理,甚至不需要很熟悉Py 阅读全文
posted @ 2019-09-30 13:39 Ryan.Miao 阅读 (401) 评论 (0) 编辑
摘要:前文 "Airflow的第一个DAG" 已经跑起来了我们的第一个任务. 本文就来丰富这个任务. 回顾我们的任务内容 我们定义了DAG的名称为 , 这个叫 , 补充说明description 定义了调度间隔schedule_interval, 这是一个cron表达式 引入了一个bash任务 有一个重要 阅读全文
posted @ 2019-09-29 19:26 Ryan.Miao 阅读 (287) 评论 (0) 编辑
摘要:``` du -hs * | sort -h ``` 阅读全文
posted @ 2019-09-09 15:39 Ryan.Miao 阅读 (37) 评论 (0) 编辑
摘要:Airflow的第一个DAG ================= 考虑了很久,要不要记录airflow相关的东西, 应该怎么记录. 官方文档已经有比较详细的介绍了,还有各种博客,我需要有一份自己的笔记吗? 答案就从本文开始了. 本文将从一个陌生视角开始认知airflow,顺带勾勒出应该如何一步步搭建 阅读全文
posted @ 2019-09-09 08:48 Ryan.Miao 阅读 (568) 评论 (0) 编辑
摘要:使用Makefile构建Docker ===================== 刚开始学习docker命令的时候,很喜欢一个字一个字敲,因为这样会记住命令。后来熟悉了之后,每次想要做一些操作的时候就不得不 重复的输入以前的命令。当切换一个项目之后,又重复输入类似但又不完全相同的命令,仅仅通过his 阅读全文
posted @ 2019-08-27 08:57 Ryan.Miao 阅读 (763) 评论 (0) 编辑
摘要:Airflow1.10.4介绍与安装 ===================== 现在是9102年,8月中旬。airflow当前版本是1.10.4. 随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案。 最初瞄准 阅读全文
posted @ 2019-08-26 08:46 Ryan.Miao 阅读 (452) 评论 (0) 编辑
摘要:vim 基本命令查找和替换 ================== vim简单的命令用着还好。比如插入,删除,查询。但替换就用的比较少。所以,还是需要用的时候拿出来对照者看。 使用vim编辑文件: 进入之后的界面叫做命令模式界面。可以修改文件编辑的时候叫做插入模式。 (命令模式)冒号+指令 在vim命 阅读全文
posted @ 2019-08-23 19:36 Ryan.Miao 阅读 (250) 评论 (0) 编辑
摘要:定时清理docker私服镜像 =================== 使用CI构建docker镜像进行发布极大促进了大家的版本发布效率,于是镜像仓库也就急速膨胀。为了缓解磁盘压力,我们需要设置一些清理策略。 对于不同docker镜像的清理策略应该是不同的。比如,默认保留最近5个版本的镜像,对于工具类 阅读全文
posted @ 2019-08-22 11:31 Ryan.Miao 阅读 (421) 评论 (0) 编辑
摘要:如何使用Python连接ldap ==================== 好多使用ldap认证的软件都是Python的,比如superset和airflow, 好吧,他们都是airbnb家的。在配置ldap的时候可能会出现认证失败,你不知道是因为什么导致配置失败的。所以,就要 跟踪源码,看看内部怎 阅读全文
posted @ 2019-08-20 09:27 Ryan.Miao 阅读 (589) 评论 (0) 编辑
摘要:openldap介绍和使用 ================ 为什么会有本文? 早期,公司是没有统一认证这个东西的,所以各自玩各自的。于是, confluence一个用户体系,gitlab一个用户体系,Jenkins一个用户体系等等, 开发中要用到的开源软件数不胜数,每个软件都要认证, 必须想办法统 阅读全文
posted @ 2019-08-16 09:16 Ryan.Miao 阅读 (461) 评论 (0) 编辑
摘要:现在大部分的docke镜像是基于debian Docker容器是不支持后台服务的,像systemctl service crontab这些后台运行的服务是不能通过 类似这种方案实现的,你必须写自己的entrypoint脚本来启动。本文记录了基于Debian的docker容器设置定时任务的方式。 案例 阅读全文
posted @ 2019-08-15 20:59 Ryan.Miao 阅读 (194) 评论 (0) 编辑
摘要:docker挂载volume的用户权限问题,理解docker容器的uid =========================== 在刚开始使用docker volume挂载数据卷的时候,经常出现没有权限的问题。 这里通过遇到的问题来理解docker容器用户uid的使用,以及了解容器内外uid的映射关 阅读全文
posted @ 2019-08-02 14:36 Ryan.Miao 阅读 (2138) 评论 (0) 编辑