大数据处理也要安全--关于MaxCompute的安全科普
摘要:1.企业大数据处理现状 当今社会数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百GB、TB乃至PB)级别。基于此,阿里云推出有了一套快速、完全托管的GB/TB/PB级数据仓库解决方案——阿里云大数据计算服务(MaxCompute,原名ODPS),MaxCo
阅读全文
posted @
2020-07-30 14:06
lpknbb
阅读(333)
推荐(0)
如何停止crontab中正在运行的job
摘要:1.查到你要停止的那个定时job任务的进程号 ps aux |grep xx_batch.sh 2.kill-9 进程号。 3.如果此shell为单任务时,立马ok,搞定,但如果此shell里又调用了其他子shell时, 则你需要去查到子shell的进程号,再kill掉,这样才能彻底将此定时停止掉。
阅读全文
posted @
2020-07-29 16:28
lpknbb
阅读(769)
推荐(0)
shell变量接收ql结果问题
摘要:set hearding off 不关将会显示表头
阅读全文
posted @
2020-07-29 15:37
lpknbb
阅读(72)
推荐(0)
(一)HIVE初识
摘要:(一)Hive初识 目录 Hive 简介 什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2、跨语言服务 : thrift s
阅读全文
posted @
2020-07-29 15:32
lpknbb
阅读(95)
推荐(0)
shell日期命名文件
摘要:(在crontab中最好都使用绝对路径),那么问题就是出在字符的转义上。crontab文件中无法理解%的含义,因而需要将%转义。所以上面的crontab命令应该写成下面这样: */5 * * * * time bash tashrunner.sh >log/`date +"\%Y\%m\%d"`_f
阅读全文
posted @
2020-07-29 15:23
lpknbb
阅读(387)
推荐(0)