摘要：一 背景 Spark社区为Spark Streaming提供了很多数据源接口，但是有些比较偏的数据源没有覆盖，由于公司技术栈选择，用了阿里云的MQ服务ONS，要做实时需求，要自己编写Receiver 二 技术实现 1.官网的例子已经比较详细，但是进入实践还需要慢慢调试，官方文档。 2.实现代码，由三 阅读全文

摘要：1.由于公司性质，需要编写一个对字段加密解密的函数。 建立一个maven项目，导入jar包，跟环境的版本保持一致即可。 然后继承UDF即可 evaluate方法的输入输出即是UDF函数的输入输出Description注解部分提供函数的帮助信息. 2.创建永久函数 打成jar包（idea的打包即可）上 阅读全文

摘要：1.建立HBase预分区表。sql语句如下： 或者 分区文件格式如下： 00|10|20|30|40|50|60|70| 优点：合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高 2.如果在建表之后没有设置压缩而数据量又很大怎么办。 ①disable 阅读全文

摘要：1.Hive内部表，语句如下 建好表之后，进入hbase shell执行list能看到表s01_buyer_calllogs_info_ts，hive drop掉此表时，hbase也被drop。 2.Hive外部表，语句如下， 从方式需要先在hbase建好表，然后在hive中建表，hive drop 阅读全文