HBase基本操作
摘要：
--任一列值='TEST' ，ValueFilter(=,'binary:TEST')scan 'FAB_MES:TO_BSLOTQUEUETIME',FILTER=>"ValueFilter(=,'binary:TEST')"--任一列值包含'TEST'，不区分大小写ValueFilter(=,' 阅读全文
posted @ 2019-07-04 15:48 malloc+ 阅读(332) 评论(0) 推荐(0)
2019年7月4日 #
2019年6月27日 #
java常用操作
摘要：
1、上传文件： 2、getResourceAsStream中文乱码 getResourceAsStream(name)=getClassLoader0().getSystemResource(name).openStream() getResourceAsStream和getResource路径是指 阅读全文
posted @ 2019-06-27 14:02 malloc+ 阅读(350) 评论(0) 推荐(0)
2019年6月20日 #
SparkStreaming
摘要：
1、RDD基础 RDD.scala源码写到RDD的5个属性。driver生成RDD 分发到个executor，RDD可理解为操作描述，除sc.parallelize()生成的RDD包含数据外，一般RDD不包含具体数据，只存储要读取的文件位置，DAG等。 KafkaUtils.createDirect 阅读全文
posted @ 2019-06-20 23:57 malloc+ 阅读(177) 评论(0) 推荐(0)
2019年6月19日 #
HIVE小问题随记
摘要：
1、float与double类型比较，因hive、java等IEEE（IEEE二进制浮点数算术标准）的系统，float 0.3实际存储数据略大于0.3,因此大于double0.3，hive存储浮点数数据建议使用double类型。 2、 常用命令：desc formatted test;show cr 阅读全文
posted @ 2019-06-19 10:20 malloc+ 阅读(714) 评论(0) 推荐(0)
2019年6月18日 #
SparkSQL调优
摘要：
1、执行计划（过往记忆https://www.iteblog.com/archives/2562.html） 2、逻辑计划优化方法： 谓词下推，列裁剪，常量替换，常量累加 3、优化方法 数据源方面： 1、hive 使用parquet格式，不要用textfile。列式存储便于查询引擎做谓词下推、更优的 阅读全文
posted @ 2019-06-18 22:47 malloc+ 阅读(4174) 评论(0) 推荐(0)
HIVE函数
摘要：
1、日期函数 2、表生成函数 二、窗口函数（https://blog.csdn.net/yangshaojun1992/article/details/84074863） 阅读全文
posted @ 2019-06-18 16:26 malloc+ 阅读(269) 评论(0) 推荐(0)
2019年6月14日 #
2019年6月12日 #
object
摘要：
除基本数据类型外，java所有对象都继承自Object对象，一下介绍几种Object具有的方法，一般自定义对象需重写以下方法。 一、equals()方法 重写方法步骤建议： 设计原则： 1、自反性：任何非空x, x.equals(x)返回true。 2、对称性：x.equals(y) 返回true， 阅读全文
posted @ 2019-06-12 16:35 malloc+ 阅读(1475) 评论(0) 推荐(0)
2019年5月27日 #
JAVA常用类型
摘要：
1、set 去重是调用hashmap 实现。 2、hashmap 底层会维护一个node[] table,table[hash值] 存放key对应的node，node实现了map.entry。node{ hash,key,value,next} map .put()，先调用hashcode()生成h 阅读全文
posted @ 2019-05-27 18:47 malloc+ 阅读(156) 评论(0) 推荐(0)
2019年5月21日 #
浙公网安备 33010602011771号