摘要: airflow的schdule_interval刚接触的时候还是有点烧脑的,为什么我希望它开始的时候,它就是不开始。 先来看一下官方的解释:airflow scheduler Note that if you run a DAG on a schedule_interval of one day, 阅读全文
posted @ 2020-06-06 13:02 小1 阅读(8048) 评论(0) 推荐(0) 编辑
摘要: 跑spark job的时候碰到了错误: 2020-04-23 15:25:05 INFO BlockManagerMaster:54 - Removal of executor 27 requested 2020-04-23 15:25:05 INFO BlockManagerMasterEndpo 阅读全文
posted @ 2020-05-25 08:31 小1 阅读(542) 评论(0) 推荐(0) 编辑
摘要: 之前试用了azkaban一小段时间,虽然上手快速方便,但是功能还是太简单,不够灵活。 Airflow使用代码来管理任务,这样应该是最灵活的,决定试一下。 我是python零基础,在使用airflow的过程中可谓吃尽了苦头。。好歹最后实现所有要求,两三周的时间没有白费 看完这篇文章,可以达到如下目标: 阅读全文
posted @ 2020-05-24 13:34 小1 阅读(11119) 评论(0) 推荐(0) 编辑
摘要: 为使用Stax API提供一个格式化输出的方法。 阅读全文
posted @ 2014-04-18 14:33 小1 阅读(921) 评论(0) 推荐(0) 编辑
摘要: 为使用Stax API提供一个格式化输出的方法。 阅读全文
posted @ 2014-01-11 19:41 小1 阅读(2098) 评论(0) 推荐(1) 编辑
摘要: 介绍几个比较常见的开源协议: Mozilla Public License MPL License,允许免费重发布、免费修改,但要求修改后的代码版权归软件的发起者。这种授权维护了商业软件的利益,,它要求基于这种软件得修改无偿贡献版权给该软件。这样,围绕该软件得所有代码得版权都集中在发起开发人得手中。 阅读全文
posted @ 2012-10-31 16:28 小1 阅读(263) 评论(0) 推荐(0) 编辑
摘要: Comparator和Comparable的比较 阅读全文
posted @ 2012-10-26 10:20 小1 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 启动Tomcat:set "CURRENT_DIR=%cd%"set "CATALINA_HOME=%CURRENT_DIR%\apache-tomcat-6.0.33"set JRE_HOME=%CURRENT_DIR%\jreset CLASSPATH=%JRE_HOME%\libset PATH=%PATH%;%JRE_HOME%\binset JAVA=javacall %CATALINA_HOME%\bin\startup.bat关闭的话,只是最后一句改成直接调shutdown.bat.注意:1. 粗体的地方如果写错就会启动失败。比如JRE_H 阅读全文
posted @ 2012-08-28 16:01 小1 阅读(5108) 评论(0) 推荐(1) 编辑
摘要: 同时使用spring的jdbcTemplate和ant的taskdefs来执行SQL语句,但是这样不能把所有操作放在一个事务中。所以把ant的taskdefs中解析SQL语句的代码提取出来,再使用jdbcTemplate来指执行。 阅读全文
posted @ 2012-03-30 18:21 小1 阅读(5412) 评论(0) 推荐(1) 编辑
摘要: 项目做临时发布的时候,一般都要把项目和Tomcat一起给客户,然后只要双击一个批处理文件就能启动服务。1. 把本地JDK目录下的jre文件拷到tomocat根目录下2. 把以下bat放在与tomcat同级的目录下,bat文件如下:set "CURRENT_DIR=%cd%"set "CATALINA_HOME=%CURRENT_DIR%\apache-tomcat-6.0.33"set JRE_HOME=%CATALINA_HOME%\jreset CLASSPATH=%JRE_HOME%\libset PATH=%PATH%;%JRE_HOME%\bi 阅读全文
posted @ 2012-02-20 10:01 小1 阅读(1985) 评论(0) 推荐(1) 编辑