摘要：
Flume Kafka 测试案例，Flume 的配置。 1. 启动 kafka。 2. 创建 kafka topic，flume配置中的 topic 为 t1。 3. 启动 flume。 4. 启动 kafka 的消费者，来观察看是否成功。 5. 由于 flume 配置文件中监控的命令是 netca 阅读全文
posted @ 2019-07-28 18:20
听~雨
阅读(507)
评论(0)
推荐(0)
摘要：
测试flume，将数据送到hive表中，首先建表。 flume conf 配置如下： 这个时候如果启动flume的话会报错，需要将hive中的jar包移动到flume 中。 此时，在修改修改 hive-site.xml，将下面的值进行修改。 上面的配置完成之后，先启动 hive metastore， 阅读全文
posted @ 2019-07-20 12:44
听~雨
阅读(2281)
评论(0)
推荐(0)
摘要：
在创建消费者的时候出现 zookeeper is not a recognized option，经过在浏览器搜索发现是版本问题，消费者读取信息配置不在是 zookeeper 的节点信息，而直接改成 kafka 本身的信息，将上面的语句改成下面即可。 阅读全文
posted @ 2019-07-18 11:53
听~雨
阅读(1332)
评论(0)
推荐(0)
摘要：
主要原因在与spark2+的版本对jdk进行了检查导致的，换了低版本的jdk之后，发现版本不支持，spark2.+需要使用jdk1.8+以上的版本，把jdk版本切换过来。在yarn的配置文件添加一下配置即可。 最后，最后，最后，不要忘记重启hadoop，不然在去执行还是会报错的。 阅读全文
posted @ 2019-07-01 12:34
听~雨
阅读(1050)
评论(0)
推荐(0)
摘要：
提示说是因为远程问题，直接给出的提示即可。 已经告诉我们，使用 将安全模型关闭，但是关闭安全模式之后发现再次执行同样的语句还是得到同样的结果，查阅资料，是因为内存空间不足导致的。 阅读全文
posted @ 2019-06-14 11:26
听~雨
阅读(2452)
评论(0)
推荐(0)
摘要：
抛出这个异常不是错误，只是使用的mysql驱动版本的问题，执行的命令是已经完成执行，如果不想看到这个异常，可以将对应的mysql驱动换成与mysql版本一致即可。 服务器上使用的是mysql 5.7 版本，而驱动还是 5.1.15 系列的，已经更新，换上更高的版本即可。 阅读全文
posted @ 2019-06-14 10:47
听~雨
阅读(885)
评论(0)
推荐(0)
摘要：
# 导入 load data local inpath '/root/mr/The_Man_of_Property.txt' insert into table article; # 提示 FAILED: ParseException line 1:58 extraneous input 'insert' expecting INTO near '' # 查找半天没发现哪里有问题，怎么试都没... 阅读全文
posted @ 2019-06-11 09:27
听~雨
阅读(3065)
评论(1)
推荐(0)
摘要：
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.(TServerSocket.java:109) a... 阅读全文
posted @ 2019-06-11 09:04
听~雨
阅读(1147)
评论(0)
推荐(0)
摘要：
启动 hive 报错，提示连接 mysql 失败，查看对应的进程发现 mysql 没有启动，将mysql启动就行了。 阅读全文
posted @ 2019-06-11 09:00
听~雨
阅读(992)
评论(0)
推荐(0)
摘要：
启动hive报错，在启动之前先启动元数据 阅读全文
posted @ 2019-06-10 14:58
听~雨
阅读(2228)
评论(0)
推荐(0)
浙公网安备 33010602011771号