随笔分类 -  大数据应用技术Hadoop

Ubuntu本地文件上传至HDFS文件系统出现的乱码问题及解决方案
摘要：1.问题来源及原因 用shell命令上传到HDFS中之后出现中文乱码，在shell命令窗口查看如图： 在eclipse中的文件HDFS查看工具查看如图： 原因：上传至HDFS文件系统的文本文件（这里是A.txt）的编码格式是ISO-8859，与hdfs文件系统和eclipse默认的编码格式UTF-8 阅读全文
posted @ 2018-12-12 15:54 Felix_9190 阅读(1396) 评论(0) 推荐(0)
MapReduce实例——求平均值，所得结果无法写出到文件的错误原因及解决方案
摘要：1.错误原因 mapreduce按行读取文本，map需要在原有基础上增加一个控制语句，使得读到空行时不执行write操作，否则reduce不接受，也无法输出到新路径。 2.解决方案 原错误代码 更正后的代码 阅读全文
posted @ 2018-11-19 21:20 Felix_9190 阅读(485) 评论(0) 推荐(0)
java.util.NoSuchElementException错误原因及解决方案
摘要：1.原因：没有控制语句导致的迭代器的越界，使得map中的数据无法传入reduce，从而无法把结果传入目标文件中。 在进行Mapreduce实例——WordCount实验时遇到的错误，开始以为是lib包导入和读取源文件格式的问题，后来无论怎么修改都会报这个错误，报错如下： java.lang.Exce 阅读全文
posted @ 2018-11-16 00:46 Felix_9190 阅读(35901) 评论(0) 推荐(1)
Tutorial 03_分布式数据库HBASE
摘要：(一)编程实现一下内容，并用Hadoop提供的Shell命令完成相同任务： 编程实现: (1)列出HBase所有表的相关信息，例如表名; package tutorial01; import java.io.IOException; import org.apache.hadoop.conf.Con 阅读全文
posted @ 2018-10-16 13:23 Felix_9190 阅读(397) 评论(0) 推荐(0)
Tutorial 02_熟悉常用的HDFS操作
摘要：Shell命令实现： (1)向HDFS 中上传任意文本文件，如果指定的文件在HDFS 中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件； (2) 从HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名； (3) 将HDFS 中指定文件的内容输出到终端 阅读全文
posted @ 2018-10-10 19:26 Felix_9190 阅读(1349) 评论(0) 推荐(0)
hadoop用户写入文件权限不够的问题
摘要：问题： 普通用户echo写入文件，提示权限不够。 解决方式： sudo tee test.txt <<< "要插入内容" 阅读全文
posted @ 2018-10-10 15:50 Felix_9190 阅读(1348) 评论(0) 推荐(0)
Tutorial 01_熟悉常用的Linux操作和Hadoop操作
摘要：（一）熟悉常用的Linux 操作cd 命令：切换目录 （1） 切换到目录“/usr/local” （2） 切换到当前目录的上一级目录 （3） 切换到当前登录Linux 系统的用户的自己的主文件夹  ls 命令：查看文件与目录 （4）查看目录“/usr”下的所有文件和目录 mkdir 命令：新建目录 阅读全文
posted @ 2018-10-09 16:57 Felix_9190 阅读(3754) 评论(0) 推荐(0)