Sqoop基础学习(1)
摘要：
1. Sqoop的导入过程在开始导入之前，Sqoop会通过JDBC来获得所需要的数据库元数据1.导入表的列名、数据类型等；2.接着这些数据库的数据类型(varchar、number等)会把映射成Java的数据类型(String、int等)，根据这些信息，Sqoop会生成一个与表名同... 阅读全文
posted @ 2016-04-17 21:07 岚之山 阅读(159) 评论(0) 推荐(0)
Hive的HQL(2)
摘要：
Hive基础(1)Hive的HQL(2)1. HQL的数据定义，HQL是一种SQL方言，支持绝大部分SQL-92标准。但是和SQL的差异为：不支持行级别的操作，不支持事务等。HQL的语法接近于MySQL。2. Hive的数据库，本质仅仅是个表的目录或者命名空间。一般用数据库将生产表... 阅读全文
posted @ 2016-04-17 20:50 岚之山 阅读(150) 评论(0) 推荐(0)
Hive基础(1)
摘要：
Hive基础(1)Hive的HQL(2)1. Hive并不是分布式的，它独立于机器之外，类似于Hadoop的客户端。2. 元数据和数据的区别，前者如表名、列名、字段名等。3. Hive的三种安装方式内嵌模式，元数据服务和Hive服务运行在同一个JVM中，同时使用内嵌的Derby数据... 阅读全文
posted @ 2016-04-17 18:17 岚之山 阅读(147) 评论(0) 推荐(0)
MapReduce的过程(2)
摘要：
MapReduce的编程思想(1)MapReduce的过程(2)1. MapReduce从输入到输出一个MapReduce的作业经过了input、map、combine、reduce、output五个阶段。其中combine阶段不一定发生，map输出的中间结果被分发到reduce的... 阅读全文
posted @ 2016-04-17 16:54 岚之山 阅读(268) 评论(0) 推荐(0)
MapReduce的编程思想(1)
摘要：
MapReduce的编程思想(1)MapReduce的过程(2)1. MapReduce采用分而治之的思想，将数据处理拆分为主要的Map（映射）与Reduce（化简）两步，MapReduce操作数据的最小单位是一个键值对。2. MapReduce计算框架为主从架构，分别是JobTr... 阅读全文
posted @ 2016-04-17 16:51 岚之山 阅读(343) 评论(0) 推荐(0)
浙公网安备 33010602011771号