摘要： 1.sqoop的安装 1.1 与hadoop和hive的集成，修改/opt/cdh/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh 文件 1.2 验证安装是否成功 bin/sqoop version 查看sqoop版本 2.sqoop 基本操作 2.1 查看sqoop可 阅读全文

摘要： 1.hive中的四种排序 1.1 order by :对全局进行排序，只能有一个reduce select * from hive.employee order by id; 1.2 sort by :对每一个reduce内部数据进行排序，全局结果集没有排序 set mapreduce.job.re 阅读全文

摘要： 1.hive的交互方式 1.1 bin/hive 进入hive交互命令行环境 1.2 bin/hive -e 'select * from hive.student;' （可以通过 > 将结果写入到指定的文件中） 1.3 bin/hive -f /opt/data/hive-select.sql （ 阅读全文

摘要： 1.安装mysql数据库 1.1 查看本机是否安装了mysql数据库（rpm -qa | grep mysql） 1.2 删除系统自带的mysql数据库(rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64) 1.3 解压mysql.zip文件，并添加执行 阅读全文

摘要： 1.配置分布式hadoop 1.1 准备三台测试机（虚拟机就可以） 1.1.1 将life-hadoop虚拟机克隆2个分别为life-hadoop02和life-hadoop03 1.1.2 查看ip地址，并进行主机名映射为life-hadoop02.life.com和life-hadoop03.l 阅读全文

摘要： 1 hadoop启动方式（三种） 1.1 各个服务组件逐一启动 *dfs hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode *yarn yarn-daemon.sh start|stop resourcemanager|n 阅读全文

摘要： 1.伪分布式hdfs文件系统的搭建（单节点文件系统） 1.1.根据上节的讲解，配置主机映射、jdk和解压hadoop压缩包 1.2.配置namenode 在/opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml中配置一下内容 <!--配置namenode 阅读全文

摘要： 1.给普通用户设置sudo权限 编辑:[root@life-hadoop /]# nano /etc/sudoers 在文件头部加入：yanglin ALL=(root)NOPASSWD:ALL 保存退出接口 2.配置主机映射 1.修改主机名称 /etc/sysconfig/network 2.在/ 阅读全文

摘要： 1.在服务器端程序中的spring-servlet.xml中添加 <bean id="userService" class="org.springframework.remoting.rmi.RmiServiceExporter"> <property name="serviceName"> <va 阅读全文

摘要： 1、python环境搭建 1.下载python并安装，下载地址：http://pan.baidu.com/s/1jHpWblk 2.启动idle即可编辑python代码 2、基本语法 1.注释：单行注释以#开头，多行注释用三个单引号（'''）或者三个双引号（"""）将注释括起来。 2.在交互模式中， 阅读全文