意料之外 意外
摘要: 简介: 1安装 HBase​ 本节介绍HBase的安装方法,包括下载安装文件、配置环境变量、添加用户权限等。 1.1 下载安装文件 HBase是Hadoop生态系统中的一个组件,但是,Hadoop安装以后,本身并不包含HBase,因此,需要单独安装HBase。 hbase-1.1.5-bin.tar 阅读全文
posted @ 2019-11-21 14:32 陌默安 阅读(2011) 评论(0) 推荐(0)
摘要: #Author:msq #Time:2019/11/16 import re import os filename = "person.txt" def menu(): #输出菜单 print(' '*5+'-'*15+"信息管理系统"+'-'*15) print(' '*5+'='*16+"功能菜 阅读全文
posted @ 2019-11-16 17:12 陌默安 阅读(732) 评论(0) 推荐(0)
摘要: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。 主要由Split、Map、Partition、Sort、Combine(需要自己写)、Merge、Reduce组成,一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写,主要是写出Map 阅读全文
posted @ 2019-11-05 20:32 陌默安 阅读(259) 评论(0) 推荐(0)
摘要: Map/Reduce编程作业 现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目 student.txt 2016001,王毅 2016002,张小明 2016003,李学彭 2016004,王东 2016005,王 阅读全文
posted @ 2019-11-05 19:43 陌默安 阅读(2176) 评论(1) 推荐(0)
摘要: 错误: Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable (java.lang.Double 阅读全文
posted @ 2019-11-05 19:03 陌默安 阅读(1576) 评论(0) 推荐(0)
摘要: 原因 原原因:string转int 格式出错 解决:我的输入文件格式在根据“,”分割完之后多出了一个空格,我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。 阅读全文
posted @ 2019-11-04 22:54 陌默安 阅读(4014) 评论(0) 推荐(0)
摘要: 添加各种jar包 /usr/local/hadoop/share/hadoop/.. 这几个文件夹下的jar包以及它们子目录lib下的所有jar包 将/usr/local/hadoop/etc/hadoop下的core-site.xml和hdfs-site.xml文件复制到新建工程的src下 同时新 阅读全文
posted @ 2019-11-04 21:42 陌默安 阅读(336) 评论(0) 推荐(0)
摘要: 原因: /usr/local/hadoop/tmp/mapred 有锁 解决:修改改文件的权限 在终端输入: cd /usr/local/hadoop/tmp sudo chmod 777 mapred sudo chown -R msq mapred 阅读全文
posted @ 2019-11-04 21:01 陌默安 阅读(392) 评论(0) 推荐(0)
摘要: 解决办法: 看map和reduce的输入是不是对应,看看map和reduce设置的参数和下面的是否一致 阅读全文
posted @ 2019-11-04 20:59 陌默安 阅读(134) 评论(0) 推荐(0)
摘要: 错误原因 缺少hadoop-yarn.jar包。 导入jar包就好了~-~ 阅读全文
posted @ 2019-11-04 20:34 陌默安 阅读(1987) 评论(0) 推荐(1)