[Top] inotify flock rsync linux异步同步文件夹
spark提交jar包时候会传到所有节点work文件夹,提交的jar包占用主从服务器空间很大, 所以有两种办法: 1.将jar包传到hdfs(hdfs没玩熟,以后研究) 2.jar包传到主节点,同步到从节点 找了一下资料inotify可以监听文件,但是使用时会有重复通知,引起多次重复同步, 此脚本使 Read More
posted @ 2017-04-11 11:13 Mr-Sorry Views(326) Comments(1) Diggs(0)
2021年12月13日
读取linux服务器cpu网卡信息
cpu信息 dmidecode -t processor # dmidecode 3.0 Getting SMBIOS data from sysfs. SMBIOS 2.8 present. Handle 0x0400, DMI type 4, 42 bytes Processor Informa Read More
posted @ 2021-12-13 11:18 Mr-Sorry Views(339) Comments(0) Diggs(0)
2017年4月18日
导出spark-sql结果
./bin/spark-sql -e "select count(1),count(distinct ip),substr(url,0,44) from tongji_log where domain ='xxx.com' and ds ='20170303' group by substr(url Read More
posted @ 2017-04-18 16:36 Mr-Sorry Views(1516) Comments(0) Diggs(0)