2019年3月19日

hdfs 架构

摘要： http://matt33.com/2018/07/15/hdfs-architecture-learn/ 阅读全文

posted @ 2019-03-19 15:59 床上小老虎 阅读(116) 评论(0) 推荐(0)

kafka写入hdfs

摘要： 碰到的问题 （1）线程操作问题，因为单机节点，代码加锁就好了，后续再写 （2） 消费者写hdfs的时候以流的形式写入，但是什么时候关闭流就是一个大问题了，这里引入了 fsDataOutputStream.hsync(); 生产者 1 package com.xuliugen.kafka.demo; 阅读全文

posted @ 2019-03-19 14:48 床上小老虎 阅读(3134) 评论(1) 推荐(0)

hdfs api

摘要： 经常用到，做个眼 如果是单机版 centos（参照给力星 Hadoop配置），要在 core-site.xml 里面配置 ip：9000 别 localhost：9000 windows 不识别 阅读全文

posted @ 2019-03-19 10:21 床上小老虎 阅读(225) 评论(0) 推荐(0)

导航