摘要：发现自己确实越来越笨，好在解决了。 通常将hive的连接信息和sql语句写在一个脚本里面执行，这样看起来方便，修改起来也方便。 但是最近由于sql语句太长了，所以拆开两部分。一部分是hive的连接，另一部分是sql文件。通过-f传参执行。 beeline --hiveconf mapreduce.j 阅读全文

摘要：分段函数常用于分箱中，统计分组在指定的区间中的占比。 比如有如下例子：统计某个班级中考试分数在各个阶段的占比。 准备的数据如下： 使用如下文件在hive中建表。 class1,1,100 class1,2,88 class1,3,90 class1,4,23 class1,5,30 class1,6 阅读全文

摘要：动态刷新hdfs配置：hdfs dfsadmin -fs hdfs://nn1:8020 -refreshSuperUserGroupsConfigurationhdfs dfsadmin -fs hdfs://nn2:8020 -refreshSuperUserGroupsConfiguratio 阅读全文

摘要：1. 分配路径 先创建要挂在的路径 ，比如要将盘挂到/dfs/data1这个路径下面 mkdir -p /dfs/data1/ 2. 格式化磁盘 mkfs.xfs /dev/sda 3. 挂载磁盘(临时，重启后失效) mount /dev/sda /dfs/data1/ 这一步只是临时挂载，要永久挂 阅读全文