摘要: Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述UDF/UDAF/UDTF是什么,各自解决问题及 阅读全文
posted @ 2019-12-14 14:44 玩转大数据 阅读(277) 评论(0) 推荐(0) 编辑
摘要: cat cat(英文全拼:concatenate)命令用于连接文件并打印到标准输出设备上。 使用权限 所有使用者 语法格式 cat [-AbeEnstTuv] [--help] [--version] fileName 参数说明: -n 或 --number:由 1 开始对所有输出的行数编号。 -b 阅读全文
posted @ 2019-11-28 19:53 玩转大数据 阅读(539) 评论(0) 推荐(0) 编辑
摘要: 导读: wget是Linux中的一个下载文件的工具,wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。 它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本 阅读全文
posted @ 2019-11-19 08:56 玩转大数据 阅读(261837) 评论(6) 推荐(32) 编辑
摘要: 查看每个目录占用的空间 du -sh * 显示当前文件夹下面的所有目录使用情况 也可以看某个指定目录(/home/log)的使用情况 du -sh /home/log/ 查看磁盘使用情况(剩余空间和使用率) df -kvh -h:--human-readable 人性化显示格式 -k:--kilob 阅读全文
posted @ 2022-06-08 16:18 玩转大数据 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 判断 field_name 字段中是否包含字符串 “aaa”: select * from table_name where locate('aaa',field_name) > 0; locate(字符串,字段名),如果包含,返回大于0的index位置;否则,返回0; 阅读全文
posted @ 2022-04-24 09:56 玩转大数据 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 1、mysql与oracle都是关系型数据库,Oracle是大型数据库,而MySQL是中小型数据库。但是MySQL是开源的,但是Oracle是收费的,而且比较贵。 mysql默认端口:3306,默认用户:root oracle默认端口:1521,默认用户:system 2、Oracle的内存占有量非 阅读全文
posted @ 2022-04-08 16:28 玩转大数据 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 1、如果变量字符前面使用感叹号,可以实现对变量的间接引用,而不是返回变量本身的值,但只能实现一层间接引用 [root@mao_aliyunserver ~]# god=mao [root@mao_aliyunserver ~]# people=god [root@mao_aliyunserver ~ 阅读全文
posted @ 2022-04-07 19:24 玩转大数据 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 定义字符串变量 table_name='maomao_table_temp_20220106' 获取变量字符串长度 # ${#变量名} echo ${#table_name} # 结果: 26 字符串变量的位数截取 # 从左边开始截取 ${变量名:起始位置:截取位数};字符串就相当于字符数组,从0开 阅读全文
posted @ 2022-04-07 18:58 玩转大数据 阅读(17) 评论(0) 推荐(0) 编辑
摘要: crontab 误删除恢复 恢复操作 获取完整日志和cmd日志。从日志中恢复出一份最近几天的完整crontab 运行日志和cmd日志,并存储,用于之后完善和核准例行时间。 CentOS 系统的 crontab 任务的日志,打印在 /var/log/cron 之中。考虑过滤日志: cat /var/l 阅读全文
posted @ 2022-04-06 10:57 玩转大数据 阅读(9) 评论(0) 推荐(0) 编辑
摘要: MySQL中没有Rank排名函数,当我们需要查询排名时,只能使用MySQL数据库中的基本查询语句来查询普通排名。尽管如此,可不要小瞧基础而简单的查询语句,我们可以利用其来达到Rank函数一样的高级排名效果。 在这里我用一个简单例子来实现排名的查询: 首先我们先创建一个我们需要进行高级排名查询的pla 阅读全文
posted @ 2022-04-01 18:01 玩转大数据 阅读(75) 评论(0) 推荐(0) 编辑
摘要: SQL: select * from table where id IN (3,6,9,1,2,5,8,7); 这样的情况取出来后,其实,id还是按1,2,3,4,5,6,7,8,9,排序的,但如果我们真要按IN里面的顺序排序怎么办?SQL能不能完成?是否需要取回来后再foreach一下?其实mys 阅读全文
posted @ 2022-03-22 09:35 玩转大数据 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1、获取今天的日期 today=$(date -d "now" +%Y-%m-%d)echo ${today} 2、获取昨天的日期yesterday=$(date -d "yesterday" +%Y-%m-%d)echo ${yesterday} 或者 yesterday=$(date -d "1 阅读全文
posted @ 2022-03-21 11:32 玩转大数据 阅读(291) 评论(0) 推荐(0) 编辑
摘要: Linux crontab是用来定期执行程序的命令。 当安装完成操作系统之后,默认便会启动此任务调度命令。 crond 命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。 注意:新创建的 cron 任务,不会马上执行,至少要过 2 分钟后才可以,当然你可以重启 cron 阅读全文
posted @ 2022-03-10 10:30 玩转大数据 阅读(50) 评论(0) 推荐(0) 编辑