会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
你
是
我
意料之外
的
意外
陌默安
一位什么都不会的小白-_-
博客园
首页
新随笔
管理
上一页
1
2
3
4
5
下一页
2019年11月21日
Hbase的安装与基本操作
摘要: 简介: 1安装 HBase 本节介绍HBase的安装方法,包括下载安装文件、配置环境变量、添加用户权限等。 1.1 下载安装文件 HBase是Hadoop生态系统中的一个组件,但是,Hadoop安装以后,本身并不包含HBase,因此,需要单独安装HBase。 hbase-1.1.5-bin.tar
阅读全文
posted @ 2019-11-21 14:32 陌默安
阅读(2011)
评论(0)
推荐(0)
2019年11月16日
Python之小型信息管理系统
摘要: #Author:msq #Time:2019/11/16 import re import os filename = "person.txt" def menu(): #输出菜单 print(' '*5+'-'*15+"信息管理系统"+'-'*15) print(' '*5+'='*16+"功能菜
阅读全文
posted @ 2019-11-16 17:12 陌默安
阅读(732)
评论(0)
推荐(0)
2019年11月5日
MapReduce基本认识
摘要: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。 主要由Split、Map、Partition、Sort、Combine(需要自己写)、Merge、Reduce组成,一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写,主要是写出Map
阅读全文
posted @ 2019-11-05 20:32 陌默安
阅读(259)
评论(0)
推荐(0)
大数据作业之利用MapRedeuce实现简单的数据操作
摘要: Map/Reduce编程作业 现有student.txt和student_score.txt。将两个文件上传到hdfs上。使用Map/Reduce框架完成下面的题目 student.txt 2016001,王毅 2016002,张小明 2016003,李学彭 2016004,王东 2016005,王
阅读全文
posted @ 2019-11-05 19:43 陌默安
阅读(2176)
评论(1)
推荐(0)
Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable
摘要: 错误: Caused by: java.lang.ClassCastException: class java.lang.Double cannot be cast to class org.apache.hadoop.io.WritableComparable (java.lang.Double
阅读全文
posted @ 2019-11-05 19:03 陌默安
阅读(1576)
评论(0)
推荐(0)
2019年11月4日
Caused by: java.lang.NumberFormatException: For input string: " 60"
摘要: 原因 原原因:string转int 格式出错 解决:我的输入文件格式在根据“,”分割完之后多出了一个空格,我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。
阅读全文
posted @ 2019-11-04 22:54 陌默安
阅读(4014)
评论(0)
推荐(0)
新建MapReduce项目
摘要: 添加各种jar包 /usr/local/hadoop/share/hadoop/.. 这几个文件夹下的jar包以及它们子目录lib下的所有jar包 将/usr/local/hadoop/etc/hadoop下的core-site.xml和hdfs-site.xml文件复制到新建工程的src下 同时新
阅读全文
posted @ 2019-11-04 21:42 陌默安
阅读(336)
评论(0)
推荐(0)
/uesr/local/hadoop/tmp/mapred有锁
摘要: 原因: /usr/local/hadoop/tmp/mapred 有锁 解决:修改改文件的权限 在终端输入: cd /usr/local/hadoop/tmp sudo chmod 777 mapred sudo chown -R msq mapred
阅读全文
posted @ 2019-11-04 21:01 陌默安
阅读(392)
评论(0)
推荐(0)
Caused by: java.io.IOException: Type mismath in vlaue from map: excepted org.apache.hadoop.io.InaWritable,received SC
摘要: 解决办法: 看map和reduce的输入是不是对应,看看map和reduce设置的参数和下面的是否一致
阅读全文
posted @ 2019-11-04 20:59 陌默安
阅读(134)
评论(0)
推荐(0)
Caused by:java.lang.ClassNotFoundException:org.apache.hadoop.yarn.util.Apps
摘要: 错误原因 缺少hadoop-yarn.jar包。 导入jar包就好了~-~
阅读全文
posted @ 2019-11-04 20:34 陌默安
阅读(1987)
评论(0)
推荐(1)
上一页
1
2
3
4
5
下一页