Ryan Miao

摘要： Airflow Console: https://github.com/Ryan-Miao/airflow-console Apache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库. Airflow提供了基于python语法的dag任务管理,我们可以定制任务内容 和任务依赖. 阅读全文

摘要： 思维导图svg: https://note.youdao.com/ynoteshare1/index.html?id=eb05fdceddd07759b8b82c5b9094021a&type=note 在多线程使用共享资源的时候， 我们可以使用synchronized来锁定共享资源，使得同一时刻， 阅读全文

摘要： 使用kubernetes 进行升级的时候并不需要停止业务，kubectl 支持滚动升级的方式，每次更新一个pod，而不是同时删除整个服务。 准备实验素材 apiVersion: apps/v1 kind: Deployment metadata: name: hello-nginx spec: se 阅读全文

摘要： 使用Jenkins执行shell脚本的时候, 碰到 . 比如 , 这些环境变量配置在 中, 但jenkins执行的时候并没有加载. 这是因为jenkins执行的shell是非登录交互式shell, 并不会加载 . 交互式shell会加载 , 进而会加载 , 而 会加载 . 因此, 自定义的变量应该定 阅读全文

摘要： Elasticsearch7.6学习笔记1 Getting start with Elasticsearch 前言 权威指南中文只有2.x, 但现在es已经到7.6. 就安装最新的来学下. 安装 这里是学习安装, 生产安装是另一套逻辑. win es下载地址: kibana下载地址: 官方目前最新是 阅读全文

摘要： docker安装Elasticsearch7.6集群并设置密码 ======================================= Elasticsearch从6.8开始， 允许免费用户使用X Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过 阅读全文

摘要： 自从开始使用Jenkinsfile作为Jenkins配置后就一发不可收，因为开发者自定义CI脚本实在太方便了。 比如，最近开发的以一个项目涉及多人，提交冲突挺多的，有的人自己没编译通过就提交了，导致后面的人被阻塞，所以我们需要告诉他： 提交失败了。 首先，Jenkinsfile应该怎么用呢， 参见： 阅读全文

摘要： Tomcat 漏洞 tomcat有漏洞, 需要升级到9.0.31 https://cert.360.cn/warning/detail?id=849be16c6d2dd909ff56eee7e26aeefe 2020年02月20日， 360CERT 监测发现 国家信息安全漏洞共享平台(CNVD) 收 阅读全文

摘要： 前言 本笔记的内容主要是在从0开始学习ElasticSearch中，按照 "官方文档" 以及自己的一些测试的过程。 安装 由于是初学者，按照官方文档安装即可。前面 "ELK入门使用" 主要就是讲述了安装过程，这里不再赘述。 学习教程 找了很久，文档大多比较老。即使是官方文档也是基于2.x介绍的，官网 阅读全文

摘要： 有个接口数据量比较大，大概3M，每次访问时长都在1s甚至3s以上。后台监控显示数据查询只有100ms，传输占据了大量时间。 考虑没开启压缩，尝试开启gzip。 在springboot添加如下设置： 由于都是类似的纯文本，压缩比很惊人， 压缩后只有几百k， 接口耗时一下进入毫秒级别。 阅读全文

摘要： 当项目集成配置的功能越来越多, 说不准哪个配置就影响到了什么. 比如你启用了EnableMvC, 默认配置文件配置的一些文件就失效了. 虽然约定大于配置,让springboot可以极简化构建, 但不熟悉内部各个组件执行原理会导致我们经常出一些莫名其妙的问题, 比如配置不生效,比如Jackson的日期 阅读全文

摘要： 一直以来，我都是 来启动springboot项目的。今天突然发现，springboot自动封装了一个bootJar的任务脚本。 demo: https://github.com/Ryan Miao/Spring Cloud Greenwich Demo/commit/ed47988218f59d2c 阅读全文

摘要： 看到一个有意思的小程序，想了解是如何实现的，于是找了反编译方法。 安装adb驱动 百度安装adb驱动，　设计设置开发者模式，连接电脑。 表示连接成功 反编译程序 备份地址： https://github.com/Ryan Miao/wxappUnpacker 原地址: https://github. 阅读全文

摘要： Airflow自定义插件 =============== Airflow之所以受欢迎的一个重要因素就是它的插件机制。Python成熟类库可以很方便的引入各种插件。在我们实际工作中，必然会遇到官方的一些插件不足够满足需求的时候。这时候，我们可以编写自己的插件。不需要你了解内部原理，甚至不需要很熟悉Py 阅读全文

摘要： 前文 "Airflow的第一个DAG" 已经跑起来了我们的第一个任务. 本文就来丰富这个任务. 回顾我们的任务内容 我们定义了DAG的名称为 , 这个叫 , 补充说明description 定义了调度间隔schedule_interval, 这是一个cron表达式 引入了一个bash任务 有一个重要 阅读全文