摘要： 本来进入大数据部门了，也沉淀了几个月的时间好好写代码，以为自己总算可以在徐总面前抬起头啦，也有徐总不太清楚但我能贡献自己的一份力，为部门的项目优化升级一下。 结果早上的时候徐总调试redis代码的时候，发现怎么都没有数据。徐总念念有词，各种尝试，“这就奇怪了~” 坑的是我区分单机和集群版的redis 阅读全文

摘要： Spark MLlib进行example测试的时候，总是编译不通过，报少包<Spark MLlib NoClassDefFoundError: org/apache/spark/ml/param/Param>，但是代码没有报错，也能够跳转过去，我重新Maven刷过，程序还是启不来。后来观察到pom. 阅读全文

摘要： IntelliJ IDEA导入多个eclipse项目到同一个workspace下 maven 阅读全文

摘要： Flume以Kafka为Source，以Hive为Sink进行数据转存。 业务背景：公司要求将某四川城市的卡口数据实时接入大数据平台中，历史数据可以通过Hive进行Load，也就是增量数据的对接问题。现场设备采集卡口的数据量在400万左右，不多。设备数据采集后由数据对接人员塞到Kafak中。 思路： 阅读全文

摘要： WRONGTYPE Operation against a key holding the wrong kind of value 根本的就是redis同一个key的value值前后类型不一致，比如最开始是client.set("key1", "val1"); 第二次client.hset("key 阅读全文

摘要： uint32_t 转载自：http://blog.sina.com.cn/s/blog_6aea878e0100tl0f.html体会1>. 在写程序时注意"无符号类型"的使用, 各种类型边界值的情况. 如: a> 当某个数据不可能为负数时我们一定要考虑用以下类型: unsigned char, u 阅读全文

摘要： Q： Hbase的rk设计，Hbase优化 a\rowkey:hbase三维存储中的关键(rowkey：行键 ，columnKey(family+quilaty)：列键 ，timestamp：时间戳) \rowkey字典排序、越短越好 \使用id+时间：9527+20160517 \使用hash散列 阅读全文

摘要： UDF(user defined functions) 用于处理单行数据，并生成单个数据行。 PS: l 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。l 一个普通UDF必须至少实现一个evaluate()方法，evaluate函数支持重载。 主要 阅读全文

摘要： 如题，使用FusionInsight解压生成样例代码的时候报错，找不到解释。只猜测是权限问题。然后并没有仔细静心思考，心里杂念很多，很浮躁。 解决方法是“以管理员身份运行“。 想想高中：面对问题，不能选择逃避，要正面解决它！如果能思考，总会想到办法的！ 阅读全文

摘要： 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 解决方案：首先是将这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP 阅读全文