bronk

摘要： spring-data整合了redispool, 并提供redisTemplate使用, 但有时需要用到shradedJedisPool, 就需要手动注入了 手写redispool并注入springboot中 1, redis配置文件 redis.properties 2, RedisClientC 阅读全文

摘要： 以前有一个自己写的: http://www.cnblogs.com/wenbronk/p/6482706.html 后来发现一个前辈写的更好的, 再此感谢一下, 确实比我写的那个好用些 1, 创建一个HttpClientPool 2, 处理get或post请求的类 url: 即为请求的url met 阅读全文

摘要： 使用StringRedisTempalte操作redis五种数据类型 spring-data中继承了redisTemplate, 提供redis非切片连接池 代码github地址: https://github.com/wenbronk/redis-java.git 阅读全文

摘要： 被这个问题困扰了好几天.... 在spring中, 从资源文件向bean中注入值非常简单, 只需要properties文件被spring加载, 然后在被spring管理的类写响应的属性, 然后 @Value("${SERVER_URL") 的方式就可以取到值了 在springboot中, 同样的方式 阅读全文

摘要： hadoop的程序运行有, 具体有3种, 除了上一篇(http://www.cnblogs.com/wenbronk/p/6662119.html)提过的直接发布jar上传到hadoop以外, 还有本地运行和真实服务器运行两种方式 1, 本地模式 1.1 解压hadoop.tar.gz到window 阅读全文

摘要： 本贴记录学习hadoop中遇到的各种异常, 包括推荐系统分类下的和本分类下的, 持续更新 1, 搭建ha时, active和standy之间不能自由切换 经检查, 配置文件错误, 私钥配置 root 前没加 / 2, eclipse插件安装好以后, 不能上传文件 插件版本 hadoop-eclips 阅读全文

摘要： 通过之前的操作, http://www.cnblogs.com/wenbronk/p/6636926.html http://www.cnblogs.com/wenbronk/p/6659481.html hadoop-HA的集群已经搭建完成了, 需要写个小程序来认识下hadoop了 统计文本文件中 阅读全文

摘要： Hadoop的核心组件之er: mapreduce mapreduce的核心理念: 移动计算, 而不是移动数据(reducetask中仍然有移动数据的情况) 分而治之 split: 切分hadoop上传的block map: 对split后的结果进行分组 shaffer: 对map后的键值对进行排序 阅读全文

摘要： 在hdfs中, NN只有一个, 但其中保存的数据尤其重要, 所以需要将元数据保存, 其中源数据有2个形式, fsimage 和 edit文件, 最简单的解决方法就是复制fsimage, 并在文件修改时同时修改 NNActive 和 NNStandby 中的edit, 保存在第三方的QJM中, 所以多 阅读全文

摘要： hdfs的优缺点比较: 架构图解分析: nameNode的主要任务: SNameNode的功能: (不是NN的备份, 主要用来合并fsimage) 合并流程: dataNode的主要功能: HDFS上传文件思想: hdfs用于一般用于处理离线数据文件, 存储方式为block副本, 集群规划使用完全式 阅读全文