摘要： df_1 = pd.DataFrame({'A': [0, 1, 2], 'B': [3, 4, 5]}) print df_1 默认左边行index0往上递增，AB为顶部标识，数组内为内容 loc——通过行标签索引行数据 iloc——通过行号索引行数据 iloc比较简单，它是基于索引位来选取数据集 阅读全文

摘要： 我们做hive查询时候经常会出现出数过慢的问题,于是采用了LZO压缩,再在压缩块上做索引的方式去解决这个问题，但是也引入了新的问题点 lzo本身的压缩功能只能在linux上压缩再上传到HDFS平台,供给hive使用,于是当你一个hive表下面的数据块很大的时候你想压缩就必须下载到linux,压缩完再 阅读全文

摘要： 用-Dlog4j.debug可以打印出配置log4j的配置文件加载的信息 mvn dependency:tree 看依赖信息 然后排除掉重复得依赖 <dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId> 阅读全文

摘要： 今天做DROOLS 通过网络访问changset（大多是通过文件方式访问,但是感觉既然用上了guvnor代码再做文件实在没意思）搞了几个小时,总算可以访问了。到此记录下 阅读全文

摘要： 今天找了一圈没看到tomcat下如何安装Guvnor,自己试了安装一把把流程记录下来。 1.JBOSS官方下载Guvnor（或者网上找找很多war包） 2.下载tomcat,安装（保证8080 index页面要正常） 3.把下载的war包放到tomcat的webbean目录下 4.启动tomcat, 阅读全文

摘要： kafka low api:fetch数据从topic partition offset buffsize长度。 提交一般两个维度：时间维度,满多少条提交（0.8X之前是没这参数） 在0.8.2.2版本开始同时支持kafka把offset存在zk和kakfka某个topic中。（ZK读性能好,写请求 阅读全文

摘要： kafka的顺序消费只保证在同一个partition中而已 阅读全文

摘要： Zookeeper是什么 zookeeper工作方式 和kafka有点区别,kafka 生产消费数据都是需要通过leader ZAB协议 广播模式 在commit时候会写入follower的内存数据库,一遍加快读写速度 zab协议 恢复模式 实际上恢复模式选用新的leader会选低32位最大的那个作 阅读全文

摘要： k CAP帽子理论。 consistency：一致性 Availability：可用性 partition tolerance：分区容忍型 CA ：mysql oracle（抛弃了网络分区） CP：hbase redis mongodb（抛弃了可用性） AP：cassandra simpleDB（抛 阅读全文

摘要： kakfka架构图： 理解kafka需要理解三个问题。 1.producer,broker,consumer，ZK的工作模式。 broker，ZK是作为一个后台服务,而producer和consumer是作为一个SDK提供给开发者进行开发用。 2.producer和consumer的交互类型。 一般 阅读全文