2017 年 7月 29 日随笔档案 - Flink菜鸟

2017年7月29日

摘要：接上篇读HDFS 上面读完了HDFS，当然还有写了。先上代码： WriteHBase HBaseConfig(z这个必须，不然会卡在table.put 上面，没有报错，就是卡) 注： hbase的配置文件很重要，如果读不到 “hbase.zookeeper.quorum” 会默认到 localho 阅读全文

posted @ 2017-07-29 15:16 Flink菜鸟阅读(3104) 评论(0) 推荐(0)

Java 读取HDFS文件系统

摘要：最近有个需求，计算用户画像。系统大概有800W的用户量，算每个用户的一些数据。数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。然后换了种解决方法： 1.hive计算，写的HDFS 2.API读出来，写到hbase（hdfs和hbase的版本不匹配阅读全文

posted @ 2017-07-29 14:59 Flink菜鸟阅读(7381) 评论(0) 推荐(0)