摘要：
今日无所事事，Hadoop好难 阅读全文
posted @ 2021-10-20 22:50
睡觉不困
阅读(16)
评论(0)
推荐(0)
摘要：
dir-hdfs.conf: #spooldir：flume中自带的读取目录的source，只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1 阅读全文
posted @ 2021-10-19 22:15
睡觉不困
阅读(47)
评论(0)
推荐(0)
摘要：
感想: 首先，十分感谢学校给我们参加比赛的机会，给予我们这次难能可贵的学习机会，第一次在这么大型的赛场中展现自己，我们也不免有些紧张。从最开始在线上进行模型训练，到我们不远千里在江苏进行场地的勘察，到后面的一遍又一遍的模型的选择和调试，我们都尽了自己最大的努力。 这次线下比赛，我们三个人分工合作互相 阅读全文
posted @ 2021-10-18 21:11
睡觉不困
阅读(38)
评论(0)
推荐(0)
摘要：
关于flume使用SpoolDir监控目录传入文件时报出java.nio.charset.MalformedInputException: Input length = 1，个人解决方案_知识的搬运工 阅读全文
posted @ 2021-10-17 21:01
睡觉不困
阅读(79)
评论(0)
推荐(0)
摘要：
Hive启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument - 狗子的进阶史 - 博客园 补充：如果hadoop的版本是3.x.x，尽量用高版本的hive，否则会报Unrecogni 阅读全文
posted @ 2021-10-16 21:02
睡觉不困
阅读(110)
评论(0)
推荐(0)
摘要：
本次分区是采用项目垃圾分类的csv文件，按照小于4的分为一个文件，大于等于4的分为一个文件 源代码： PartitionMapper.java: package cn.idcast.partition; import org.apache.hadoop.io.LongWritable; import 阅读全文
posted @ 2021-10-15 15:49
睡觉不困
阅读(133)
评论(0)
推荐(0)
摘要：
源代码： WordCountMapper.java: package cn.idcast.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache. 阅读全文
posted @ 2021-10-14 23:41
睡觉不困
阅读(76)
评论(0)
推荐(0)
摘要：
源代码： pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in 阅读全文
posted @ 2021-10-13 22:48
睡觉不困
阅读(151)
评论(0)
推荐(0)
摘要：
zookeeper启动报错:already running as process xxx: zookeeper启动报错:already running as process xxx_荒野雄兵的专栏 阅读全文
posted @ 2021-10-12 20:53
睡觉不困
阅读(49)
评论(0)
推荐(0)
摘要：
备忘录：Hadoop Shell命令 (apache.org) 阅读全文
posted @ 2021-10-11 20:46
睡觉不困
阅读(20)
评论(0)
推荐(0)
浙公网安备 33010602011771号