百里登风

导航

上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 36 下一页

2019年5月17日

15.sqoop数据从mysql里面导入到HDFS里面

摘要: 表数据 在mysql中有一个库userdb中三个表:emp, emp_add和emp_contact 表emp id name deg salary dept 1201 gopal manager 50,000 TP 1202 manisha Proof reader 50,000 TP 1203 阅读全文

posted @ 2019-05-17 18:01 百里登峰 阅读(4390) 评论(0) 推荐(0)

14.Sqoop把数据从HDFS导出到mysql

摘要: 创建数据文件 把数据文件上传到集群 在HDFS上创建目录 把数据文件上传到HDFS上 登录Mysql 在mysql里创建一个表 现在需要从HDFS上把数据导入到mysql中对应的表 执行命令 查看Mysql表的数据 阅读全文

posted @ 2019-05-17 12:07 百里登峰 阅读(1153) 评论(0) 推荐(0)

13.sqoop的安装

摘要: 上传sqoop压缩包,并解压 给sqoop一个软链接 给sqoop配置环境变量 使环境变量生效 给文件重命名一下 打开sqoop-env.sh并编辑 在/opt/modules/sqoop/lib目录下加入mysql的jdbc驱动包 验证一下 阅读全文

posted @ 2019-05-17 11:02 百里登峰 阅读(199) 评论(0) 推荐(0)

2019年5月16日

12.Flume的安装

摘要: 先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 阅读全文

posted @ 2019-05-16 17:18 百里登峰 阅读(227) 评论(0) 推荐(0)

2019年5月15日

11.把文本文件的数据导入到Hive表中

摘要: 先在hive里面创建一个表 接下来创建数据文件 把本地的数据文件导入到hive表中 接下来把hdfs上的文件导入到hive表中 现在在hdfs上创建目录,并把本地文件上传到hdfs 在hive再创建一个表tt 把hdfs上的文件导入到hive的tt表里面 阅读全文

posted @ 2019-05-15 23:42 百里登峰 阅读(4660) 评论(0) 推荐(0)

10.hive安装

摘要: 上传hive安装包并解压 给hive设置一个软链接 给hive配置环境变量 使环境变量生效 修改hive的配置文件 拷贝驱动mysql-connector-java-5.1.17.jar到 /opt/modules/hive/lib 这个是hive的配置文件初始情况 我们通过notepad++来连接 阅读全文

posted @ 2019-05-15 17:49 百里登峰 阅读(177) 评论(0) 推荐(0)

9.centos7 安装mysql

摘要: sudo yum install libaio # 安装依赖包 检查 MySQL 是否已安装 sudo yum list installed | grep mysql 也可以通过命令 rpm -qa|grep -i mysql 如果有,就先全部卸载,命令如下: sudo yum -y remove 阅读全文

posted @ 2019-05-15 12:34 百里登峰 阅读(1159) 评论(0) 推荐(0)

2019年5月13日

8.时间同步

摘要: 先给每台机器安装ntp 利用xcall.sh脚步 在每台机器上都执行以下三条命令 阅读全文

posted @ 2019-05-13 23:33 百里登峰 阅读(171) 评论(0) 推荐(0)

7.编写mapreduce案例

摘要: 在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 阅读全文

posted @ 2019-05-13 22:13 百里登峰 阅读(264) 评论(0) 推荐(0)

6.maven的安装

摘要: JAVA配置 JAVA_HOME=安装目录 PATH=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 使用本地的maven环境 安装 Maven 之前要求先确 阅读全文

posted @ 2019-05-13 11:31 百里登峰 阅读(196) 评论(0) 推荐(0)

上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 36 下一页