YOUNG111

2018年7月20日

摘要： 1、使用sqoop导入mysql数据到hive中，并指定表名，运行如下命令 ./sqoop import --hive-import --connect jdbc:mysql://10.25.134.142:3306/scott --username root --P --table emp --h 阅读全文

posted @ 2018-07-20 19:57 YOUNG111 阅读(831) 评论(0) 推荐(0) 编辑

天津东软实训第十一天——Hive连接JDBC

摘要：今天学习了以下几个方面的内容： sqoop导入mysql数据到hdfs： ./sqoop import --connect jdbc:mysql://[IP]:3306/[数据库名] --username root --P --table [表名] -m 1 --target-dir [目标地址]; 阅读全文

posted @ 2018-07-20 19:55 YOUNG111 阅读(156) 评论(0) 推荐(0) 编辑

2018年7月19日

天津东软实训第十天——Hive配置

摘要：下载Hive，上传到Linux，然后进行解压使用命令： tar -zxvf XXX.tar.gz 解压完成后，配置Hive的环境变量：输入命令：vi ~/.bash_profile 进行编辑 export HIVE_HOME="hive的安装目录" export PATH = $HIVE_HOM 阅读全文

posted @ 2018-07-19 19:55 YOUNG111 阅读(213) 评论(0) 推荐(0) 编辑

2018年7月18日

天津东软实训第九天——MapReduce实战

摘要：案例：有一万条某网站的用户日志信息，例如： 211.162.33.31 - - [10/Nov/2016:00:01:02 +0800] "GET /u/card HTTP/1.1" 200 331 "www.neusoft.com" "http://www.neusoft.com/code/205 阅读全文

posted @ 2018-07-18 14:26 YOUNG111 阅读(432) 评论(0) 推荐(0) 编辑

2018年7月17日

天津东软实训第八天------倒排索引

摘要：倒排索引流程图：（有三个文件，里边有三句话，分别统计每个单词在每个文件中出现的次数）阅读全文

posted @ 2018-07-17 19:03 YOUNG111 阅读(182) 评论(0) 推荐(0) 编辑

Intellij IDEA 创建maven项目，利用API操作HDFS

摘要：首先，新建Maven项目，添加相应的依赖，新建Java类：阅读全文

posted @ 2018-07-17 08:53 YOUNG111 阅读(928) 评论(0) 推荐(0) 编辑

天津东软实训第七天

摘要：复习Linux常用命令： HDFS Shell 操作：阅读全文

posted @ 2018-07-17 08:49 YOUNG111 阅读(226) 评论(0) 推荐(0) 编辑

2018年7月14日

天津东软实训第五天

摘要：今天主要学习了下面几个方面的内容： 1、MapReduce实战，读取气温。从十个文件中获取气温，并计算平均值。 2、通过HDFS读取MapReduce生成的文件，并把数据传入数据库。 3、SpringMVC的原理，使用，配置下面回顾一下SpringMVC的使用：首先，新建war模式的maven项阅读全文

posted @ 2018-07-14 12:48 YOUNG111 阅读(379) 评论(0) 推荐(0) 编辑

2018年7月12日

关于HDFS追加文件出错的问题

摘要：在Eclipse进行HDFS的相关操作时，读写文件，在文件里追加内容，其中读写文件一点错没有，但是追加文件第一次运行的时候没有错误，但是之后就一直报错。错误代码：解决办法：配置环境变量，然后将下面三个文件放在hadoop/bin目录下。阅读全文

posted @ 2018-07-12 19:05 YOUNG111 阅读(226) 评论(0) 推荐(0) 编辑

天津东软实训第四天

摘要：今天主要学习一下内容： 1、封装JDBC，自定义范型 2、反射，自定义注解 3、MapReduce配置及Wordcount的运行，Yarn配置 4、Eclipse自己创建MapReduce 其中有一些问题需要注意一下：配置完MapReduce后，在跑Wordcount方法时，会出现一些错误，但是这阅读全文

posted @ 2018-07-12 18:42 YOUNG111 阅读(187) 评论(0) 推荐(0) 编辑

公告