摘要： storm开发解决问题点1.kafka消费速度跟不上问题 这个问题可以从加大topic partition进行解决,可以在topic正在运行时候运行命令 ./kafka-topics --alter --zookeeper rhel071:2181 --topic heartbeat --parti 阅读全文

摘要： 今年做过两个公司需求都遇到了实时流入hive的需求，storm入hive有几种可行性方案。 1.storm直接写入hive，storm下面有个stormhive的工具包，可以进行数据写入hive。但是本人研究半天感觉并不是很好用,并且利用工具类也会在开发上灵活性被限制。 2.storm直接写入hdf 阅读全文

摘要： # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this wor 阅读全文

摘要： 一直用storm做实时流的开发,之前系统学过spark但是一直没做个模版出来用,国庆节有时间准备做个sparkStream的模板用来防止以后公司要用。（功能模拟华为日常需求,db入库hadoop环境） 1.准备好三台已经安装好集群环境的的机器,在此我用的是linux red hat,集群是CDH5. 阅读全文

摘要： 偶然想到hbase特性是字段可扩张,查询效率搞,hive是字段定死查询走MR离线,hbase-hive映射表,可以hive导数据出来做分析,hbase数据做快速查询。例如做分区表的情况下,hive不定对字段进行定位查询落到哪一个分区,可以试试用hbase放到rowkey进行批量get出来更新,会很快 阅读全文

摘要： 最近被公司叫去协助传统做维表查询服务,项目已经做完。和前端联调过程发现oracle对查询 sql和产品设计还是挺重要的。不能全部堆给代码去做，如何方便代码，代码优化到最高性能才是首要解决的事，前端才能达到1--2S返回服务数据。这次维表数据量在10--20W查询在2--3S速度还是太慢。自己orac 阅读全文

摘要： 今天在做storm on maven的时候发现要依赖到storm-hdfs的jar。自己又非常不想把乱七八糟的东西丢上自己的集群lib。于是就想maven 打包的时候把插件一块打包进jar。maven默认自己不会打包进jar，我只要把自己需要的打包进去就好了。 走了不少弯路，现在记录一把，防止以后自 阅读全文

摘要： 华为bids（不想吐槽）种种原因只能用hbase shell查询，在此记录下自己探索的hbase shell 免得下次要用还得去找 scan 'ogg_sel_ioc_sv_product_name_info',{FILTER=>"SingleColumnValueFilter('cf','CONT 阅读全文

摘要： 今天华为做实施的时候发现kylin做刷cube的时候发现源表数据类型不适合刷到kylin提供查询接口。问了下同事发现一个比较简单的解决办法。 源表是String类型，做hive视图可以做个hive表提供刷kylin数据。比较方便快捷 阅读全文

摘要： java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMeta 原因：因为没有正常启动Hive 的 Metastore Server服务进程。 解决方法：启动Hi 阅读全文