人生，唯有锻炼与读书不能辜负

摘要： 一、hive函数 1、hive内置函数 （1）内容较多，见《 Hive 官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF （2）详细解释： http://blog.sina.com.cn/s/blog_ 阅读全文

摘要： 一、hive的各种join操作 语法结构：join_table:table_reference JOIN table_factor [join_condition]| table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference joi 阅读全文

摘要： 一、 spark 2 版本 相对于以前版本的变化 spark core ： Accumulators (累加器)：性能更好，页面上也可以看到累加器的信息 spark sql: 1、 2、DataSet(合并了之前的dataFrame) spark 2 里面没有dataframe了，dataframe 阅读全文

摘要： 一、DDL操作（定义操作） 1、创建表 （1）建表语法结构 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)] //字段注释[COMMENT table 阅读全文

摘要： 一、Hive的基本概念 （安装的是Apache hive 1.2.1） 1、hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供类 SQL 查询功能， hive 底层是将 SQL 语句转换为 MapReduce 任务运行（类似于插件Pi 阅读全文

摘要： 一、HDFS的工作机制 工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能 力，形成一定的集群运维能力PS：很多不是真正理解 hadoop 工作原理的人会常常觉得 HDFS 可用于网盘类应用，但实际 并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解 概述 阅读全文

摘要： 一、hadoop心跳机制（heartbeat） 1、 Hadoop 是 Master/Slave 结构， Master 中有 NameNode 和 ResourceManager， Slave 中有 Datanode 和 NodeManager 2、 Master 启动的时候会启动一个 IPC（ I 阅读全文

摘要： 一、DataFrame 1、DataFrame是组织成命名列的数据的分布式集合，类似于关系型数据库的一张表，如果没有列名就等于RDD，如果有列名，就是DataFrames DataFrames可以从各种各样的源构建，例如：结构化数据文件（JSON文件，xml文件），Hive中的表，外部数据库或现有R 阅读全文

摘要： 一、HDFS前言 1、 设计思想 分而治之：将大文件，大批量文件，分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析 2、 在大数据系统架构中的应用 为各类分布式运算框架（ MapReduce， Spark， Tez， Flink， …）提供数据存储服务 3、 重点概念： 数 阅读全文

摘要： 一、集群环境准备工作 1、修改主机名 在root 账户下 vi /etc/sysconfig/network 或者 sudo vi /etc/sysconfig/network 2、设置系统默认启动级别 在 root 账号下输入 vi /etc/inittab 将默认的5改为3即可 3、配置hado 阅读全文