dairui130

shell 命令创建/删除软连接 ln -s

摘要：软链接的作用是， 1. 节省复制造成的空间浪费 2. 保证两个文件的内容同时修改所以，可以把软连接理解为给文件/文件夹创建了别名，当访问别名时，实际访问的是链接的文件/文件夹软链文件软链文件夹删除软连接阅读全文

posted @ 2019-04-15 18:53 dairui130 阅读(5075) 评论(0) 推荐(0)

azkaban disable 停用部分工作流

摘要：在使用azkaban作为调度工具的时候，难免遇到只需要跑工作流某部分的情况，这时需要用到停用部分工作的操作，如图：阅读全文

posted @ 2019-04-15 15:23 dairui130 阅读(495) 评论(0) 推荐(0)

git dev 分支merge到master

摘要： code reviewer之后，需要把dev分支的代码merge到master分支。通过在azkaban的服务器上git pull，最终将代码上线。 git dev 分支merge到master 打上版本标签将master分支合并到dev 阅读全文

posted @ 2019-04-14 17:25 dairui130 阅读(6751) 评论(0) 推荐(0)

shell 命令 zip unzip

摘要：工作当中，经常要用到zip压缩。 zip 将文件夹打包：如文件夹名 xxx unzip -o 覆盖原有的文件夹查询更多参数：zip --help unzip --help 另外，mac上，右键文件夹，点击压缩，可以将文件直接压缩为zip包。如下：阅读全文

posted @ 2019-04-14 14:46 dairui130 阅读(2850) 评论(0) 推荐(0)

git代码同步服务器代码需要注意的问题

摘要：魔鬼藏在细节之中，git代码同步服务器代码需要注意的问题 1. 全文件夹覆盖 git pull 当前文件夹 2. 覆盖前做代码备份 mv origin origin_20190404_bak 阅读全文

posted @ 2019-04-12 14:30 dairui130 阅读(324) 评论(0) 推荐(0)

shell 命令 if elif else fi 用法

摘要： #! /bin/bash if Iam; then echo "it worked two" else ls echo "I am in the else" fi 阅读全文

posted @ 2019-04-11 20:45 dairui130 阅读(2146) 评论(0) 推荐(0)

python 引入本地 module

摘要：数据校验时，需要引入本地的一个告警python代码，引入的方式如下：阅读全文

posted @ 2019-04-10 20:44 dairui130 阅读(537) 评论(0) 推荐(0)

shell 传入外部参数

摘要： shell脚本传入外部参数的方法：阅读全文

posted @ 2019-04-10 20:34 dairui130 阅读(634) 评论(0) 推荐(0)

hive 命令行传入参数

摘要： azkban实现任务重跑我们执行sql的方式是将hql文件上传到服务器本地。然后执行shell命令注：hive -e 是执行依据短sql，hive -f是执行hql文件 test_scheduler.hql的内容是需要执行的sql语句，参数的写法如下图： azkaban 传入参数 1.配置job 阅读全文

posted @ 2019-04-09 23:49 dairui130 阅读(1648) 评论(0) 推荐(0)

摘要： set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=100000000; set mapred.task.timeout=60000000; set hive.exec.compress.intermediate=true; set hive.exec.parall... 阅读全文

posted @ 2019-04-09 21:47 dairui130 阅读(325) 评论(0) 推荐(0)

导航

公告