近期开发storm遇到一些问题的解决点
摘要:storm开发解决问题点1.kafka消费速度跟不上问题 这个问题可以从加大topic partition进行解决,可以在topic正在运行时候运行命令 ./kafka-topics --alter --zookeeper rhel071:2181 --topic heartbeat --parti
阅读全文
关于大数据平台ETL可行性方案
摘要:今年做过两个公司需求都遇到了实时流入hive的需求,storm入hive有几种可行性方案。 1.storm直接写入hive,storm下面有个stormhive的工具包,可以进行数据写入hive。但是本人研究半天感觉并不是很好用,并且利用工具类也会在开发上灵活性被限制。 2.storm直接写入hdf
阅读全文