摘要：
* 1、设置url支持hadoop，FsUrlStreamHandlerFactory * 2、创建URL对象，指定访问的HDFS路径 * 3、openStream获取输入流对象，也就是读取的内容 * 4、使用Hadoop的OIUtils工具类对输入流输出到控制台 public static void main(String[] args) throws Exception { //通过e... 阅读全文
posted @ 2014-03-11 18:07
向着梦想奋斗
阅读(1524)
评论(0)
推荐(0)
摘要：
vi打开配置文件后显示E297: Write error in swap file，检查磁盘发现磁盘满了。使用du –max-depth=1 | sort –n –r 查找大文件所在位置并删除。 阅读全文
posted @ 2014-03-11 17:48
向着梦想奋斗
阅读(5557)
评论(0)
推荐(1)
摘要：
有一天早上到公司用hive中查询数据，发现报错不能连接。通过检查发现mysql服务器没有启动，开启mysql服务器后查询正常。 阅读全文
posted @ 2014-03-11 17:42
向着梦想奋斗
阅读(1219)
评论(0)
推荐(0)
摘要：
执行stop-hbase.sh关闭Hbase服务器，提示一直在等待，查阅了很多网上的资料找到了答案。因为hbase的主要信息存储在zookeeper集群中，zookeeper集群没有正常启动会导致hbase不能正常关闭。 通过jps查看集群中的zookeeper服务，找到没有启动的服务器并启动zookeeper服务。 重新执行stop-hbase.sh 正常关闭。 阅读全文
posted @ 2014-03-11 17:40
向着梦想奋斗
阅读(3716)
评论(0)
推荐(0)
摘要：
java.lang.ClassCastException: partition.KpiWritable cannot be cast to org.apache.hadoop.io.LongWritable at partition.KpiApp$MyPartition.getPartition(KpiApp.java:1) at org.apache.hadoop.mapred.MapTask$... 阅读全文
posted @ 2014-03-11 17:28
向着梦想奋斗
阅读(979)
评论(0)
推荐(0)
摘要：
14/02/28 20:29:48 INFO mapred.JobClient: Task Id : attempt_201402281833_0004_m_000000_1, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundException: cmd.CmdWordCount$MyMapper at org.... 阅读全文
posted @ 2014-03-11 17:26
向着梦想奋斗
阅读(1664)
评论(0)
推荐(0)
摘要：
[root@h1 ~]# hadoop jar W1.jar hdfs://h1:9000/hello hdfs://h1:9000/cmd Exception in thread "main" java.lang.ClassNotFoundException: hdfs://h1:9000/hello at java.lang.Class.forName0(Native Method) at j... 阅读全文
posted @ 2014-03-11 17:25
向着梦想奋斗
阅读(10043)
评论(0)
推荐(0)
摘要：
13480253104 mapreduce.KpiWritable@486a58c4 13502468823 mapreduce.KpiWritable@3de9d100 13560439658 mapreduce.KpiWritable@419876c1 13600217502 mapreduce.KpiWritable@9c9a8c 13602846565 mapreduce.KpiWrita... 阅读全文
posted @ 2014-03-11 17:22
向着梦想奋斗
阅读(420)
评论(0)
推荐(0)
摘要：
使用fileSystem的delete方法无法删除文件或目录 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://h1:9000/out, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.j... 阅读全文
posted @ 2014-03-11 17:21
向着梦想奋斗
阅读(50473)
评论(0)
推荐(1)
摘要：
方式1（不推荐）：注释hadoop-config.sh中的 if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then echo "Warning: \$HADOOP_HOME is deprecated." 1>&2 echo 1>&2 fi 方式2:：修改环境变量 可以是用当前用户的环境变量也可以是全局环... 阅读全文
posted @ 2014-03-11 17:20
向着梦想奋斗
阅读(436)
评论(0)
推荐(0)
摘要：
检查logs目录下的hadoop-root-jobtracker日志文件 2014-02-26 19:56:06,782 FATAL org.apache.hadoop.mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host :port authority: local at org... 阅读全文
posted @ 2014-03-11 17:19
向着梦想奋斗
阅读(910)
评论(0)
推荐(0)
摘要：
1、创建Hadoop项目 2、创建包、类 这里使用hdfs.WordCount为例 3、编写自定Mapper和Reducer程序 MyMapper类 static class MyMapper extends Mapper { @Override protected void map(LongWritable k1, Text v1, Context context) thr... 阅读全文
posted @ 2014-03-11 16:17
向着梦想奋斗
阅读(536)
评论(0)
推荐(0)
摘要：
下载 https://skydrive.live.com/redir.aspx?cid=cf7746837803bc50&resid=CF7746837803BC50!1277&parid=CF7746837803BC50!1274&authkey=!ACiM_IinIoEmTz8 有事打不开，可以到hadoop官网下载 将插件复制到eclipse安装目录的dropins下，重启eclipse。 ... 阅读全文
posted @ 2014-03-11 14:42
向着梦想奋斗
阅读(282)
评论(0)
推荐(0)
摘要：
集群概念 计算机集群是一种计算机系统，通过一组松散继承的计算机软件或硬件连接连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通过局域网连接。 集群特点： 1、效率高，通过多态计算机完成同一个工作。 2、高容错，两台或多台机内容、工作过程等完全一样，宕机一台其他机器继续工作。 Hadoop集群部署 搭建步骤 1、跟伪分布模式环境相同 更改主机名 设置Hosts 关闭防火墙 ... 阅读全文
posted @ 2014-03-11 12:47
向着梦想奋斗
阅读(363)
评论(0)
推荐(0)
摘要：
MapReduce概念 MapReduce是一种分布式计算模型，由谷歌提出，主要用于搜索领域，解决海量数据计算问题。 MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数实现分布式计算。 这两个函数的形参是key，value对，表示函数的输入信息。 MP执行流程 客户端提交给jobtracker，jobtracker分配给tasktracker。 trask... 阅读全文
posted @ 2014-03-11 12:44
向着梦想奋斗
阅读(818)
评论(0)
推荐(0)
摘要：
HDFS的API操作 URL方式访问 package hdfs; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandler... 阅读全文
posted @ 2014-03-11 12:36
向着梦想奋斗
阅读(798)
评论(0)
推荐(0)
摘要：
HDFS的shell 调用文件系统（FS）shell命令使用hadoop fs的形式 所有的FS shell命令使用URI路径作为参数。 URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。 例如：/par... 阅读全文
posted @ 2014-03-11 12:33
向着梦想奋斗
阅读(807)
评论(0)
推荐(0)
摘要：
本文转载自向着梦想奋斗博客 Hadoop是什么？ 适合大数据的分布式存储于计算平台 不适用小规模数据 作者：Doug Cutting 受Google三篇论文的启发 Hadoop核心项目 HDFS（Hadoop Distrubuted File System） 分布式文件系统 MapReduce 并行计算框架 版本 Apache 官方版本 Cloudera 使用下载最多的版本，稳定，有商业支持，在A... 阅读全文
posted @ 2014-03-11 12:22
向着梦想奋斗
阅读(331)
评论(0)
推荐(0)
浙公网安备 33010602011771号