百里登风

摘要： 工作流调度器azkaban 2.1 概述 2.1.1为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一 阅读全文

摘要： 表数据 在mysql中有一个库userdb中三个表：emp, emp_add和emp_contact 表emp id name deg salary dept 1201 gopal manager 50,000 TP 1202 manisha Proof reader 50,000 TP 1203 阅读全文

摘要： 创建数据文件 把数据文件上传到集群 在HDFS上创建目录 把数据文件上传到HDFS上 登录Mysql 在mysql里创建一个表 现在需要从HDFS上把数据导入到mysql中对应的表 执行命令 查看Mysql表的数据 阅读全文

摘要： 上传sqoop压缩包，并解压 给sqoop一个软链接 给sqoop配置环境变量 使环境变量生效 给文件重命名一下 打开sqoop-env.sh并编辑 在/opt/modules/sqoop/lib目录下加入mysql的jdbc驱动包 验证一下 阅读全文

摘要： 先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 阅读全文

摘要： 先在hive里面创建一个表 接下来创建数据文件 把本地的数据文件导入到hive表中 接下来把hdfs上的文件导入到hive表中 现在在hdfs上创建目录，并把本地文件上传到hdfs 在hive再创建一个表tt 把hdfs上的文件导入到hive的tt表里面 阅读全文

摘要： 上传hive安装包并解压 给hive设置一个软链接 给hive配置环境变量 使环境变量生效 修改hive的配置文件 拷贝驱动mysql-connector-java-5.1.17.jar到 /opt/modules/hive/lib 这个是hive的配置文件初始情况 我们通过notepad++来连接 阅读全文

摘要： sudo yum install libaio # 安装依赖包 检查 MySQL 是否已安装 sudo yum list installed | grep mysql 也可以通过命令 rpm -qa|grep -i mysql 如果有，就先全部卸载，命令如下： sudo yum -y remove 阅读全文

摘要： 先给每台机器安装ntp 利用xcall.sh脚步 在每台机器上都执行以下三条命令 阅读全文

摘要： 在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 阅读全文