摘要： 在安装CentOS6.4时，系统会自动安装jdk，先把它下载掉，装上自定义的jdk。卸载步骤如下： 阅读全文

摘要： 1. sudo无法使用问题[root@bogon 下载]# sudo gedit text.txt sudo：/etc/sudoers 属于用户 ID 711，应为 0sudo：没有找到有效的 sudoers 资源，退出sudo：无法初始化策略插件解决办法: /etc/sudoers所属用户为711，把/etc/sudoers所属用户改为root即可解决。chown -R root:root /etc/sudoers 2. Linux常见问题解决办法 阅读全文

摘要： zoo.cfg配置文件 配置参数详解(主要是$ZOOKEEPER_HOME$/conf/zoo.cfg文件) 参数名 说明 clientPort 客户端连接server的端口，即对外服务端口，一般设置为2181吧。 dataDir 存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这 阅读全文

摘要： 一. 单机安装、配置：1. 下载zookeeper二进制安装包下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz2.解压zookeeper安装包把zoo 阅读全文

摘要： Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多，并不复杂，这里不再讲述，接下来阐述怎么安装Mahout。1：下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载，我选择下载二进制包，直接解压及可。hadoop@ubuntu:~$ tar -zxvf mahout-distribution-0.7.tar.gz 2：配置环境变量：在/etc/profile，/home/hadoop/.bashrc中添加如下红色信息#set java environmentMAHO 阅读全文

摘要： 1. org.apache.pig.backend.executionengine.ExecException: ERROR 4010: Cannot find hadoop configurations in classpath (neither hadoop-site.xml nor core-site.xml was found in the classpath).If you plan to use local mode, please put -x local option in command line显而易见，提示找不到与hadoop相关的配置文件。所以我们需要把hadoop安装 阅读全文

摘要： 这里我们给出一个学生表(学号，姓名，性别，年龄，所在系)，其中含有如下几条记录并保存在/home/hadoop/ziliao/student.txt文件： 201000101:李勇:男:20:计算机软件与理论 201000102:王丽:女:19:计算机软件与理论 201000103:刘花:女:18: 阅读全文

摘要： 输入pig -x local此时pig和本地的文件系统交互，省略“-x local”，pig和hdfs交互。1、在pig中执行HDFS的命令hadoop@ubuntu:~$ piggrunt> fs -ls /grunt> cat filename #打印文件的内容grunt> copyFromLo 阅读全文

摘要： 在安装Pig之前，Hadoop环境已经搭建完成，因此这里直接从安装Pig开始。1. 下载Pig安装包Pig-0.9.2下载地址：http://mirror.bjtu.edu.cn/apache/pig/pig-0.9.2/在以上地址选择pig-0.9.2.tar.gz文件，也就是linux系统的压缩 阅读全文

摘要： 1.hadoopa.sudo gedit /home/hadoop/hadoop-1.1.1/conf/core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-datastore/</value> <description>A base for other temporary directories.</description> </property> & 阅读全文

摘要： HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase 之后,用户可以通过下面的命令进入 HBase Shell 之中,命令如下所示:hadoop@ubuntu:~$ hbase shellHBase Shell; enter 'help<RETURN& 阅读全文

摘要： 1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2013-03-06 15:23:48,132 INFO org.apache.hadoop.hdfs.server.datanode.DataNode 阅读全文

摘要： 在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: hive -service hiveserver & 1). 测试数据userinfo.txt文件内容(每行数据之间用tab键隔开): 1 xiapi 2 xiaoxue 3 qingqing 阅读全文

摘要： 版本：hadoop-1.1.1，hbase-0.94.3，hive-0.9.0一. 版本兼容1. hadoop-1.1.1与hbase-0.94.3$HADOOP_HOME/hadoop-core-*.*.*.jar和$HADOOP_HOME/lib/commons-configuration-*.*.jar拷贝到$HBASE_HOME/lib目录下，删除$HBASE_HOME/lib目录下的hadoop-core-*.jar，避免版本冲突和不兼容。2. hbase-0.94.3和hive-0.9.0$HIVE_HOME/lib/hbase-0.92.0.jar和$HIVE_HOME/lib/ 阅读全文

摘要： Window-->Preferences-->Java-->Code Style-->Formatter需要自己新建个Formatter，否则提示无法编辑，此为默认设置；然后选择右边Edit按钮，在Indentation-->General Settings页中Tab policy右边的下拉框，选择Space only!然后下面的Indentation size和Tab size都设置成你要的空格数即可！一般是8个空格！！注意：3.6之前版本好像设置Window-->Preferences-->General-->Editors-->Tex 阅读全文

摘要： 1.hadoop版本：hadoop-1.1.1，HBase版本：hbase-0.94.32.到官方网站下载好hbase-0.94.3.tar.gz，解压hbase安装包到一个可用目录如(/home/hadoop/hbase-0.94.3/)root@ubuntu:/home/hadoop# sudo tar zxvf hbase-0.94.3.tar.gz设置hbase-0.94.3所在用户为hadoop，所在组为hadoop(root用户操作)root@ubuntu:/home/hadoop# chown -R hadoop hbase-0.94.3root@ubuntu:/home/had 阅读全文

摘要： HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于Hadoop云平台这一特性决定的, 但其有些特点是SQL所无法企及的。例如多表查询、支持create table as select和集成MapReduce脚本等, 本节主要介绍Hive的数据类型和常用的HiveQL操作。1.hive client命令a.hive命令参数-e: 命令行sql语句-f: SQL文件-h, --help: 帮助--hiveconf: 指定配置文件-i: 初始化文 阅读全文

摘要： 1. 新建用户root@ubuntu:~# adduser hadooproot@ubuntu:~# passwd hadoop #为hadoop用户设置密码2. 为hadoop用户添加sudo权限root@ubuntu:~# sudo gedit /etc/sudoers把root那行复制后改成hadoop，hadoop就有了sudo权限，需要sudo密码则为ALL，不需要则NOPASSWD:ALL。root ALL=(ALL) NOPASSWD:ALLhadoop ALL=(ALL:ALL) ALL 阅读全文

摘要： 默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下几步骤:第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务。此步省略，具体请看http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942497.html第二步:安装Hive此步省略，具体请看http://www.cnblogs.com/linjiqin/arc 阅读全文

摘要： 1. 删除mysqla. sudo apt-get autoremove --purge mysql-server-5.0b. sudo apt-get remove mysql-serverc. sudo apt-get autoremove mysql-serverd. sudo apt-get remove mysql-common (非常重要)上面的其实有一些是多余的，建议还是按照顺序执行一遍2. 清理残留数据dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P3. 安装 mysqla. sudo apt-get 阅读全文