摘要：在写azkaban的flow时，对于依赖(dependsOn)的job可以传参，但是传参时必须是json格式，这个job就可以根据key=value获取到值进行下一步执行，本人记录一个案例(仅供自己记录) #!/usr/bin/env bash cd $(dirname $0) jarPath=$( 阅读全文

摘要：1、遍历按空格分隔的字符串： #!/bin/bash s="111 222 333" for server in $s do echo$s done 2、遍历字符串列表、用空格分隔： #!/bin/bash for mm in a b c do echo$mm done 3、遍历参数列表： #!/b 阅读全文

摘要：path1=$(cd `dirname $0`;pwd) #cd `dirname $0`;pwd 先cd到当前路径然后pwd，打印成绝对路径path2=$(dirname $0) #dirname $0 只是获取的当前脚本的相对路径path3=$(dirname $(readlink -f "$p 阅读全文

摘要：问题产生：让同事查看挂载点 “/”占用100%的原因，查看之后发现是/opt/base/tbase/install/tbase_bin_v2.0/下的一个日志文件太大占用导致，然后同事就直接执行了rm命令，结果导致文件删了，但是挂载点占用率没有降下来，简直.... 网上问度娘，得出如下总结（仅个人参 阅读全文

摘要：使用find命令查找文件执行任务 #!/bin/sh find /root/txj/zyr/ /root/test/\ -type f\ -name 'localhost_access_log.*.txt'\ ! -name 'localhost_access_log.'$(date -d "0 d 阅读全文

摘要：例如案例: 使用awk完成某几个数据筛选： hdfs dfs -cat hdfs://192.16.1.1/txj/data/20200305/* >> tmp.txt awk -F '|' '{if($1 != '0') print $1}' tmp.txt >> test.txtsort tes 阅读全文

摘要：【介绍:】 linux 系统则是由 cron (crond) 这个系统服务来控制的。这个系统服务是默认启动的。 Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。 crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，liunx默认会安装此服务 阅读全文

摘要：自己记录下 使用脚本定时每几分钟执行一次任务：#!/bin/bas#打印当前地址cd $(dirname $0)echo $(dirname $0#获取父级路径path=$(dirname $(dirname $PWD))/jars/gather-1.0-SNAPSHOT-jar-with-depe 阅读全文

摘要：1 scp命令 1）scp可以实现服务器与服务器之间的数据拷贝。 2）案例实操 （1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。 [root@hadoop101 /]# scp -r /opt/mo 阅读全文

摘要：cd $(dirname $0)nowdate=$1if [ $# -eq 0 ];then echo "not input initparam"else if [ "$nowdate" = "0" ];then nowdate=`date +%Y%m01` #本月第一天 startdate=`da 阅读全文

摘要：文件搜索find / -name file 从 '/' 开始搜索目标文件和目录 find / -user plus 搜索属于用户 'plus' 的文件和目录 find /home/user1 -name *.xml 在某个目录 （/ home/user1）中搜索带有'.xml' 结尾的文件 find 阅读全文

摘要：查询目录下文件 ls 查询目录下目录或者文件的详情 ll 查询进程 ps -ef|grep java (1) ps -aux|grep java(2)(1)标准的格式显示进程的(2)a: 显示所有程序 u: 以用户为主的格式来显示 x: 显示所有程序，不以终端机来区分-e 显示所有进程。-f 全格式 阅读全文

摘要：网易镜像：http://mirrors.163.com/centos/6/isos/ 搜狐镜像：http://mirrors.sohu.com/centos/6/isos/ 阅读全文

摘要：Shell常用特殊变量 经常会在shell命令中，看到$0, $#, $*, $@, $?, $$这样的取值，这些代表什么呢？ $* 和 $@ 都是将参数一个一个返回 "$*"将所有参数当做一个整体字符串返回 , "$@"将参数一个一个返回 常用判断参数 在shell命令文件中还经常会看到类似与if 阅读全文

摘要：shell学习 https://www.cnblogs.com/yangyanfei/p/6386831.html 使用shell执行hadoop命令 https://www.cnblogs.com/xyliao/p/5711768.html ./bin/hadoop jar ./myapp/HDF 阅读全文

摘要：Windows环境中： bat文件的写法 1.任何位置都可以新建一个文件夹(例如：D:/test)，将项目的pom文件复制进来 2.将已写好的项目打包,把生成的jar文件复制到test里， 3.再在test下新建lib文件夹，在test里执行cmd命令下载工件的所有的依赖的jar包，命令内容： mv 阅读全文

摘要：1.关机重启 【sync：将数据又内存同步到磁盘中；shutdown[选项]时间：多久关闭；halt：关闭系统=poweroff；reboot重启系统】2.ssh远程： SecureCRT工具：免安装3.用户： useradd添加用户：useradd test passwd设置用户密码：passwd 阅读全文

摘要：1、centos下载地址：网易镜像：http://mirrors.163.com/centos/6/isos/搜狐镜像：http://mirrors.sohu.com/centos/6/isos/ 2、安装centos系统，在VMware新建一台虚拟机，挂载centos进行下一步操作，在选择系统时选 阅读全文