摘要：安装 1.安装准备工作： 下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz 2.解压文件到工作目录: hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/h 阅读全文

摘要：import org.apache.hadoop.conf.{Configuration, Configured}; import org.apache.hadoop.util.{ToolRunner, Tool}; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.lib.output.FileOutput... 阅读全文

摘要：原文出处：http://www.ibm.com/developerworks/library/os-spark/Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Sp 阅读全文

该文被密码保护。

摘要：hadoop集群管理之 Namenode恢复1.修改conf/core-site.xml,增加<property> <name>fs.checkpoint.period</name> <value>3600</value> <description>表示多长时间记录一次hdfs的镜像。默认是1小时</description> </property> <property> <name>fs.checkpoint.size</name> <value>67 阅读全文

摘要：1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A <> B所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A < B所有原始类型如果A小于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A <= B所有原始类型如果A小于等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A > B所有原始类 阅读全文

摘要：Hive 简明指南原文http://www.cnblogs.com/end/archive/2012/06/18/2553683.html1. 基本数据类型tinyint , smallint, int, bigint, float, double, boolean: true/false, string2. 基础运算符与函数A IS NULL 空A IS NOT NULL 非空A LIKE B 模糊匹配A RLIKE B 正则表达式匹配A REGEXP B 正则表达式匹配3. 类型转换cast(expr as <type>)例如：cast('1' as BIGIN 阅读全文

摘要：check-native-uptodate:compile-native: [javah] Error: Class org.apache.hadoop.conf.Configuration could not be found.BUILD FAILED/home/hadoop/src/kevinweil-hadoop-lzo-6bb1b7f/build.xml:269: compilation failed在build.xml中添加<classpath refid="classpath"/><javah classpath="${build.c 阅读全文

摘要：MRUnit MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。定义Map逻辑import java.io.IOException;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Mapper;public class WordMapper extends Mapper<LongWritable, Text, Text, Text> { @Override public void map(LongWritable key, Text value. 阅读全文

摘要：添加节点1.修改host 和普通的datanode一样。添加namenode的ip2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host3.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker 4.均衡block[root@slave-004 hadoop]# ./bin/start-balancer.sh1）如果不balance，那么. 阅读全文