摘要：
一、动态分区以及从linux本地文件映射到hive表中。partitioned.sql脚本中的创造数据：mkdir /mytempcd mytempvi stu_score.txt1,zhangshan,50,12,lisi,67,13,tom,49,24,jery,... 阅读全文
posted @ 2018-10-19 22:22
IT晓白
阅读(879)
评论(0)
推荐(0)
摘要：
CentOS6.5安装MySQL5.7详细教程对上述内容的详细说明：cat /etc/yum.repos.d/mysql-community.repo 中的调整情况 阅读全文
posted @ 2018-10-18 19:29
IT晓白
阅读(102)
评论(0)
推荐(0)
摘要：
一、拷贝mysql数据表到hdfs上1.确保mysql可以远程连接, 防火墙等已关闭或开端口, hadoop已启动, hdfs可访问2.确保hdfs上不存在目标文件夹, sqoop会自动生成文件夹, 若已存在则报错，要么加上--delete-target-dir3.命... 阅读全文
posted @ 2018-10-18 13:34
IT晓白
阅读(1162)
评论(0)
推荐(0)
摘要：
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop... 阅读全文
posted @ 2018-10-18 12:56
IT晓白
阅读(358)
评论(0)
推荐(0)
摘要：
异常一、java.lang.RuntimeExceptionException in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate... 阅读全文
posted @ 2018-10-16 13:56
IT晓白
阅读(454)
评论(0)
推荐(0)
摘要：
1.在数据库中创建3张表格1.admin：用户表2.role：权限表3.admin_role:中间表（字段是两个表的主键）2.自定义注解：import java.lang.annotation.Retention;import java.lang.annotation... 阅读全文
posted @ 2018-10-15 21:18
IT晓白
阅读(413)
评论(0)
推荐(0)
摘要：
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-... 阅读全文
posted @ 2018-10-15 19:42
IT晓白
阅读(2881)
评论(0)
推荐(0)
摘要：
Hadoop自带的数据类型：Intwritable,LongWritable,Text,xxWritable. 某些情况下：使用自定义的数据类型方便一些（类似java中的pojo）。实现：实现writableComparable接口即可。场景例如：成绩表：由语文，数学... 阅读全文
posted @ 2018-10-15 12:39
IT晓白
阅读(583)
评论(0)
推荐(0)
摘要：
什么是倒排索引？ 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒... 阅读全文
posted @ 2018-10-13 15:50
IT晓白
阅读(451)
评论(0)
推荐(0)
摘要：
依赖式的场景我们可以设想一下MapReduce有2个子任务job1，job2构成，job2要在job1完成之后才执行。job1：用上篇写的合并小文件job2：使用单词计数这种关系就叫复杂数据依赖关系的组合时mapreduce。hadoop为这种组合关系提供了一种执行和... 阅读全文
posted @ 2018-10-13 13:41
IT晓白
阅读(373)
评论(1)
推荐(1)
浙公网安备 33010602011771号