牵牛花

摘要： 场景描述,在hive中需要一张中间表,比如一个已知设备库,但是随着用户的增加,设备库是要数据量谁要增加的,(insert新的数据,保留已有的数据).然后在业务中使用 解决方案,第一次create select ,之后每次都 insert into select ,这是select 的就很关键,这个s 阅读全文

摘要： java获取当月的第一天和最后一天,获取本周的第一天和最后一天 使用场景,计算日活跃,周活跃,月活跃是的日期计算 阅读全文

摘要： 以上对long类型数据的累加,double类型的数据累加是将double类型*10000,这样将double转成一个long类型的数字进行累加,使用这种方法时要注意控制double类型数据的精度 阅读全文

摘要： 当别人问这个问题的时候，别人肯定是想你是否看过源码。是否针对不同场景改过kafka的分区模式 这是别人最想知道的是，你的message如何负载均衡的发送给topic的partition 我们用kafka的时候，可以动态指定partition，也可以不指定partition 当我们动态指定了partition的时候，kafka会将消息发送到指定的partition 如果没有指定partition ... 阅读全文

摘要： #!/bin/bash#每天定时位外部表加载分区#服务器当天的时间#加载环境变量source /etc/profile;#如果没有指定日期用当前日期如果指定的日期使用指定的日期echo 'starting...'if [ -z $1 ] then curdate=`date +%Y%m%d`else 阅读全文

摘要： 在shell中如何判断HDFS中的文件目录是否存在 阅读全文

摘要： 使用maven 命令 maven install 在项目所在文件夹 执行. 阅读全文

摘要： sparksql 2.和hive2.1.1 由于sparksql中的hive-cli 等包的版本是1.2的需要自己下载,下载替换之后不报错,替换之前做好备份 阅读全文

摘要： SparkSQL ThriftServer服务的使用和程序中JDBC的连接 此时要注意版本问题,我第一次用的是hive2.1.1的,因为要用sparksql的hive服务,但是sparksql默认的是1.2的,在替换了下面四个包之后 hive-beeline-1.2.1.spark2.jar hiv 阅读全文

摘要： 要注意shutdown与exit之间的不同：shutdown表示关闭hbase服务，必须重新启动hbase才可以恢复，exit只是退出hbase shell,退出之后完全可以重新进入。 hbase使用坐标来定位表中的数据，行健是第一个坐标，下一个坐标是列族。 hbase是一个在线系统，和hadoop 阅读全文