摘要：
概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION） VERSION -- 查询版本信息 该表比较 阅读全文
posted @ 2018-06-10 10:12
Frankdeng
阅读(6404)
评论(0)
推荐(1)
摘要：
一 Hive的下载 软件下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 这里下载的版本是：apache-hive-2.3.3-bin.tar.gz 官方安装配置文档：https://cwiki.apache.org/confluence/ 阅读全文
posted @ 2018-06-09 22:09
Frankdeng
阅读(6619)
评论(0)
推荐(1)
摘要：
一 Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 阅读全文
posted @ 2018-06-09 21:13
Frankdeng
阅读(1929)
评论(0)
推荐(0)
摘要：
一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads 版本：elasticsea 阅读全文
posted @ 2018-06-09 14:38
Frankdeng
阅读(5775)
评论(3)
推荐(3)
摘要：
一 使用IDEA开发Spark程序 1、打开IDEA的官网地址，地址如下：http://www.jetbrains.com/idea/ 2、点击DOWNLOAD，按照自己的需求下载安装，我们用免费版即可。 3、双击ideaIU-15.0.2.exe安装包，点击Next。 4、选择安装路径，点击Nex 阅读全文
posted @ 2018-06-05 22:39
Frankdeng
阅读(8582)
评论(2)
推荐(2)
摘要：
一. 线程的概念 在单线程情况下，计算机中存在一个控制权，并按照顺序依次执行指令。单线程好像是一个只有一个队长指挥的小队，整个小队同一个时间只能执行一个任务。在多线程情境下，计算机中有多个控制权。多个控制权可以同时进行，每个控制权依次执行一系列的指令。多线程好像是一个小队中的成员同时执行不同的任务。 阅读全文
posted @ 2018-06-03 00:17
Frankdeng
阅读(1208)
评论(0)
推荐(0)
摘要：
一 简介 Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 。 官方下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 1. Sqoop是什么 Sqoop：SQL- 阅读全文
posted @ 2018-06-02 23:39
Frankdeng
阅读(3650)
评论(0)
推荐(0)
摘要：
一 Sqoop简介 Apache Sqoop(TM) 于 2012 年 3 月孵化出来，现在是一个顶级的 Apache 项目。是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。最新的稳定版本是 1.4.7。Sqoop2 的最新版本是 1.99.7 阅读全文
posted @ 2018-06-02 21:01
Frankdeng
阅读(2561)
评论(1)
推荐(0)
摘要：
一学生成绩 增强版 数据信息 computer,huangxiaoming,85,86,41,75,93,42,85 computer,xuzheng,54,52,86,91,42 computer,huangbo,85,42,96,38 english,zhaobenshan,54,52,86,9 阅读全文
posted @ 2018-06-02 14:11
Frankdeng
阅读(2260)
评论(0)
推荐(0)
摘要：
WordCount案例 需求1：统计一堆文件中单词出现的个数（WordCount案例） 0）需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数 1）数据准备：Hello.txt 2）分析 按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。 3）编写程序 （1 阅读全文
posted @ 2018-06-02 13:25
Frankdeng
阅读(22389)
评论(0)
推荐(2)
浙公网安备 33010602011771号