Mayny#

摘要： 此处txt文本中以空格分开，所以此处以 '/t' 进行分割，否则会将整个数据全放在第一列中 4.在hive环境中执行指令 5.在上一步显示ok后，可通过select * from tmp.cityprovince;进行验证。 注意：需要转换为utf-8，否则tmp.citryprovince会显示乱 阅读全文

摘要： Google大数据技术：MapReduce、BigTable、GFS Hadoop：一个模仿Google大数据技术的开源实现 ​ HDFS的概念 数据块 磁盘中的关系： ​ HDFS同样也有块（block）的概念，但是大很多，默认为128MB。与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块 阅读全文

摘要： 转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm 阅读全文

摘要： 转自：https://blog.csdn.net/u011564172/article/details/53310530 概要 RDD是为了处理迭代算法和数据发掘应运而生的，keep数据在内存，显著提升性能。 RDD基于lineage实现容错，而不是shared state的update。 简介 背 阅读全文

摘要： Hive本质上是一个数据仓库，但不存储数据(只存储元数据(metadata)，Hive中的元数据包括表的名字，表的列和分区及分区及其属性，表的属性（是否为外部表等），表的数据所在目录等)，用户可以借助Hive使用sql对存储在分布式文件系统中的大数据集进行读写Hive... 阅读全文

摘要： 1.Spark架构 分布式spark应用中的组件 在分布式环境下，Spark集群采用的是主/从结构。在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器（Driver）节点。与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的 阅读全文

摘要： 根据用户的需求创建视图。可以将任何结果集数据保存为一个视图。视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。创建一个试图可以创建一个试图，在执行SELECT语句的时候，语法如下：CREATE VIEW [IF... 阅读全文

摘要： Hive分区Hive组织表到分区。它是将一个表到基于分区列，如日期，城市和部门的值相关方式。使用分区，很容易对数据进行部分查询。表或分区是细分成桶，以提供额外的结构，可以使用更高效的查询的数据。桶的工作是基于表的一些列的散列函数值。例如，一个名为Tab1表包含雇员数据... 阅读全文

摘要： LOAD DATA语句一般来说，在SQL创建表后，我们就可以使用INSERT语句插入数据。但在Hive中，可以使用LOAD DATA语句来插入数据。LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE t... 阅读全文

摘要： Session 管理及 Cookie 应用 基于表单认证的标准规范尚未有定论，一般会使用Cookie来管理Session（会话）。基于表单认证本身是通过服务器端的Web应用，将客户端发送过来的用户ID和密码与之前登录过的信息做匹配来进行认证的。但鉴于HT... 阅读全文