摘要：
简介： 1安装 HBase 本节介绍HBase的安装方法，包括下载安装文件、配置环境变量、添加用户权限等。 1.1 下载安装文件 HBase是Hadoop生态系统中的一个组件，但是，Hadoop安装以后，本身并不包含HBase，因此，需要单独安装HBase。 hbase-1.1.5-bin.tar 阅读全文
posted @ 2019-11-21 14:32
陌默安
阅读(2011)
评论(0)
推荐(0)
摘要：
#Author:msq #Time:2019/11/16 import re import os filename = "person.txt" def menu(): #输出菜单 print(' '*5+'-'*15+"信息管理系统"+'-'*15) print(' '*5+'='*16+"功能菜 阅读全文
posted @ 2019-11-16 17:12
陌默安
阅读(732)
评论(0)
推荐(0)
摘要：
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 主要由Split、Map、Partition、Sort、Combine（需要自己写）、Merge、Reduce组成，一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写，主要是写出Map 阅读全文
posted @ 2019-11-05 20:32
陌默安
阅读(259)
评论(0)
推荐(0)
摘要：
Map/Reduce编程作业 现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目 student.txt 2016001,王毅 2016002,张小明 2016003,李学彭 2016004,王东 2016005,王 阅读全文
posted @ 2019-11-05 19:43
陌默安
阅读(2176)
评论(1)
推荐(0)
摘要：
错误： Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable (java.lang.Double 阅读全文
posted @ 2019-11-05 19:03
陌默安
阅读(1576)
评论(0)
推荐(0)
摘要：
原因 原原因：string转int 格式出错 解决：我的输入文件格式在根据“,”分割完之后多出了一个空格，我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。 阅读全文
posted @ 2019-11-04 22:54
陌默安
阅读(4014)
评论(0)
推荐(0)
摘要：
添加各种jar包 /usr/local/hadoop/share/hadoop/.. 这几个文件夹下的jar包以及它们子目录lib下的所有jar包 将/usr/local/hadoop/etc/hadoop下的core-site.xml和hdfs-site.xml文件复制到新建工程的src下 同时新 阅读全文
posted @ 2019-11-04 21:42
陌默安
阅读(336)
评论(0)
推荐(0)
摘要：
原因： /usr/local/hadoop/tmp/mapred 有锁 解决：修改改文件的权限 在终端输入： cd /usr/local/hadoop/tmp sudo chmod 777 mapred sudo chown -R msq mapred 阅读全文
posted @ 2019-11-04 21:01
陌默安
阅读(392)
评论(0)
推荐(0)
摘要：
解决办法： 看map和reduce的输入是不是对应，看看map和reduce设置的参数和下面的是否一致 阅读全文
posted @ 2019-11-04 20:59
陌默安
阅读(134)
评论(0)
推荐(0)
摘要：
错误原因 缺少hadoop-yarn.jar包。 导入jar包就好了~-~ 阅读全文
posted @ 2019-11-04 20:34
陌默安
阅读(1987)
评论(0)
推荐(1)
浙公网安备 33010602011771号