2018年5月
Master HA彻底解密
摘要： Spark Master HA彻底解密 阅读全文
posted @ 2018-05-23 18:53 sky_sql 阅读(315) 评论(0) 推荐(0)
Spark天堂之门解密
摘要： SparkContext 阅读全文
posted @ 2018-05-23 18:39 sky_sql 阅读(289) 评论(0) 推荐(0)
2017年7月
<context:property-placeholder>配置资源文件
摘要： 直接在 spring 配置文件里面加上 这样就能在配置数据源的时候这样子 同时也可以在代码里面这样获取 当然如果用 @Value 注解获取属性的话，你的类也必须是spring注入管理的。 如果用了SpringMVC，而且你在controller里面用 @Value 获取不到属性值的话，应该在Spri 阅读全文
posted @ 2017-07-10 14:51 sky_sql 阅读(4703) 评论(0) 推荐(0)
Spring中<context:annotation-config/>的作用
摘要： spring中<context:annotation-config/>配置的作用，现记录如下： <context:annotation-config/>的作用是向Spring容器注册以下四个BeanPostProcessor： AutowiredAnnotationBeanPostProcessor 阅读全文
posted @ 2017-07-10 14:32 sky_sql 阅读(414) 评论(0) 推荐(1)
git从已有分支拉新分支开发
摘要： 开发过程中经常用到从master分支copy一个开发分支,下面我们就用命令行完成这个操作： 1. 切换到被copy的分支(master),并且从远端拉取最新版本 $git checkout master $git pull 2. 从当前分支拉copy开发分支 $git checkout -b dev 阅读全文
posted @ 2017-07-04 16:26 sky_sql 阅读(2500) 评论(0) 推荐(0)
对 Canal (增量数据订阅与消费)的理解
摘要： canal 阅读全文
posted @ 2017-07-04 16:18 sky_sql 阅读(494) 评论(0) 推荐(0)
2017年6月
配置参数
摘要： hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x 阅读全文
posted @ 2017-06-13 16:14 sky_sql 阅读(394) 评论(0) 推荐(0)
hdfs 机架感知
摘要： client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 阅读全文
posted @ 2017-06-13 16:11 sky_sql 阅读(431) 评论(0) 推荐(0)
hdfs HA原理
摘要： hadoop1.x 版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN，如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案(如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Qu 阅读全文
posted @ 2017-06-13 15:59 sky_sql 阅读(345) 评论(0) 推荐(0)
深度剖析hdfs原理
摘要： 深度剖析hdfs原理 阅读全文
posted @ 2017-06-13 15:09 sky_sql 阅读(314) 评论(0) 推荐(0)