摘要：
环境: hadoop 3.1.1 hive 3.1.0 mysql 8.0.11 安装前准备: 准备好mysql-connector-java-8.0.12.jar驱动包 上传hive的tar包并解压 第一步: 进入hive/conf,拷贝hive-env.sh.template 为hive-env 阅读全文
posted @ 2018-10-17 20:39
tele
阅读(3678)
评论(0)
推荐(0)
摘要：
代码 maven 阅读全文
posted @ 2018-10-15 19:20
tele
阅读(176)
评论(0)
推荐(0)
摘要：
1.半数可用机制,半数可用指的是zk集群中一半以上的机器正常时集群才能正常工作 已经启动了hadoop002(follower),hadoop003(leader) 下面停止hadoop002 在hadoop003上查看zk状态发现已经不能提供服务,因为2的半数以上至少是2,1不满足条件 2.选举机 阅读全文
posted @ 2018-10-15 13:55
tele
阅读(2418)
评论(0)
推荐(0)
摘要：
版本3.4.10,已提前配置好jdk 三台主机:hadoop002,hadoop003.hadoop004 1.配置 将zookeeper-3.4.10.tar.gz解压后进入zookeeper-3.4.10/conf,将zoo_sample.cfg改名为zoo.cfg,编辑zoo.cfg tick 阅读全文
posted @ 2018-10-15 13:31
tele
阅读(211)
评论(0)
推荐(0)
摘要：
1 public class WordCount { 2 static Directory directory; 3 // 创建分词器 4 static Analyzer analyzer = new IKAnalyzer(); 5 static IndexWriterConfig config = 阅读全文
posted @ 2018-09-24 19:39
tele
阅读(1549)
评论(0)
推荐(0)
摘要：
比爬取相册简单点,唯一有点弯的是页码的构造了,我写的这个只支持获取文字,可以用来生成词云 阅读全文
posted @ 2018-09-23 20:32
tele
阅读(427)
评论(0)
推荐(0)
摘要：
MapReduce默认的InputFormat是TextInputFormat,且key是偏移量,value是文本,自定义InputFormat需要实现FileInputFormat,并重写createRecorder方法,如果需要还可以重写isSplitable()来设置是否切片,重写了creat 阅读全文
posted @ 2018-09-21 20:05
tele
阅读(921)
评论(0)
推荐(0)
摘要：
起初遍历values时直接把对象添加到集合中,后来输出结果和预期不符,debug时发现添加到集合中的对象的值全部是最后一个对象的值,网上百度了下,发现是reduce阶段对象重用的问题,reduce阶段的key,value分别指向一个对象,无论操作了多少个键值对,始终是这两个对象,而ArrayList 阅读全文
posted @ 2018-09-19 15:01
tele
阅读(643)
评论(0)
推荐(0)
摘要：
程序执行流程如下: map()-->getPartition()分区 >write()(序列化,每一行都顺序执行这三个方法) >readFields() >compareTo()排序 >readFields() >分组compare >reduce() 对于每一行的内容,依次执行map()-->ge 阅读全文
posted @ 2018-09-14 20:23
tele
阅读(579)
评论(0)
推荐(0)
摘要：
之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop. 阅读全文
posted @ 2018-09-13 21:17
tele
阅读(1978)
评论(4)
推荐(4)
浙公网安备 33010602011771号