摘要：后台运行脚本 执行脚本test.sh:./test.sh 中断脚本test.sh：ctrl+c 在1的基础上将运行中的test.sh，切换到后台并暂停：ctrl+z 执行ctrl+z后，test.sh在后台是暂停状态（stopped）,使用命令：bg number让其在后台开始运行（“number” 阅读全文

摘要：1，-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args> 选 阅读全文

摘要：查看所有分区 show partitions 表名; 删除一般会有两种方案 1、直接删除hdfs文件 亲测删除hdfs路径后 查看分区还是能看到此分区 可能会引起其他问题 此方法不建议 2、 使用删除分区命令（推荐） alter table 表名 drop partition (date=20200 阅读全文

摘要：1.查看分区 hive> show partitions table_name; 2.查看分区更新时间 获取hdfs路径 hive> desc formatted table_name; 通过dfs -ls < hdfs path>命令查看数据文件最新更新时间 hive> dfs -ls /user 阅读全文

摘要：实时日志分析统计业务 1.背景介绍 我们知道网站用户访问流量是不间断的,基于网站的访问日志,即Web log分析是典型的流式实时计算应用场景,比如百度统计,它可以做流量分析,来源分析,网站分析,转化分析,另外还有特定场景分析,比如安全分析,用来识别CC攻击,SQL注入分析,脱库等,这里我们实现一个类 阅读全文