摘要： 本来进入大数据部门了，也沉淀了几个月的时间好好写代码，以为自己总算可以在徐总面前抬起头啦，也有徐总不太清楚但我能贡献自己的一份力，为部门的项目优化升级一下。 结果早上的时候徐总调试redis代码的时候，发现怎么都没有数据。徐总念念有词，各种尝试，“这就奇怪了~” 坑的是我区分单机和集群版的redis 阅读全文

摘要： Spark MLlib进行example测试的时候，总是编译不通过，报少包<Spark MLlib NoClassDefFoundError: org/apache/spark/ml/param/Param>，但是代码没有报错，也能够跳转过去，我重新Maven刷过，程序还是启不来。后来观察到pom. 阅读全文

摘要： IntelliJ IDEA导入多个eclipse项目到同一个workspace下 maven 阅读全文

摘要： Flume以Kafka为Source，以Hive为Sink进行数据转存。 业务背景：公司要求将某四川城市的卡口数据实时接入大数据平台中，历史数据可以通过Hive进行Load，也就是增量数据的对接问题。现场设备采集卡口的数据量在400万左右，不多。设备数据采集后由数据对接人员塞到Kafak中。 思路： 阅读全文

摘要： WRONGTYPE Operation against a key holding the wrong kind of value 根本的就是redis同一个key的value值前后类型不一致，比如最开始是client.set("key1", "val1"); 第二次client.hset("key 阅读全文

摘要： uint32_t 转载自：http://blog.sina.com.cn/s/blog_6aea878e0100tl0f.html体会1>. 在写程序时注意"无符号类型"的使用, 各种类型边界值的情况. 如: a> 当某个数据不可能为负数时我们一定要考虑用以下类型: unsigned char, u 阅读全文

摘要： 在2002年的香港金像奖颁奖礼上，周星驰在获得的众多奖项中，还获得了青年导演奖，在致辞时，他称，无谓再说我的白头发，如果还有一个最靓仔导演奖，估计也是非我莫属。周星驰的白头发！不知从何时，他的头上出现了很多白发。而当我再看这部98年的贺岁电影时，发现那些白发已在他的头上栖身。甚至在回顾的“初恋”中， 阅读全文

摘要： Q： Hbase的rk设计，Hbase优化 a\rowkey:hbase三维存储中的关键(rowkey：行键 ，columnKey(family+quilaty)：列键 ，timestamp：时间戳) \rowkey字典排序、越短越好 \使用id+时间：9527+20160517 \使用hash散列 阅读全文

摘要： UDF(user defined functions) 用于处理单行数据，并生成单个数据行。 PS: l 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。l 一个普通UDF必须至少实现一个evaluate()方法，evaluate函数支持重载。 主要 阅读全文

摘要： 如题，使用FusionInsight解压生成样例代码的时候报错，找不到解释。只猜测是权限问题。然后并没有仔细静心思考，心里杂念很多，很浮躁。 解决方法是“以管理员身份运行“。 想想高中：面对问题，不能选择逃避，要正面解决它！如果能思考，总会想到办法的！ 阅读全文