摘要：首先要明确的是：hive中的函数包括内置函数和自定义函数；而内置函数又包括：简单函数（map阶段），聚合函数（reduce阶段），集合函数（map阶段），特殊函数。而自定义函数又包括：UDF（map阶段），UDAF（reduce阶段）。 内置函数： 不一一列举，查看语句如下： show functi 阅读全文

摘要：1、数据仓库 我们常提的数仓（DataWarehouse），就是在我们已有的数据库（他是对数据的存储）的基础之上，增加了对数据的OLAP（On-Line Analytical Processing），支持复杂的数据分析操作，更侧重决策支持，提供直观易懂的查询结果，而数据库更着重的是事务处理。换句话讲 阅读全文

摘要：在上一篇博客，引入mybatis框架的基础上，结合spring-mvc，实现代码的进一步简化。 操作： 1.新建maven的web工程： 项目整体视图：（后面会一个个新建，这里总览一下） 2.导包： <!--数据库操作--> <!-- https://mvnrepository.com/artifa 阅读全文

摘要：前提是你本地已经配置好maven环境变量！ mvn install:install-file -DgroupId=org.csource -DartifactId=fastdfs-client-java -Dversion=1.27 -Dpackaging=jar -Dfile=D://fastdf 阅读全文

摘要：以下全部是在Zeppelin上操作 一、内部表： 1.向内部表插入数据 %hive --insert into mydemo.xxx values(1,'zhangsan',25),(2,'wangwu',27) select * from mydemo.xxx 2.创建1个压缩格式为orc的内部表 阅读全文

摘要：一、准备阶段 1.搭建好Hadoop的服务器。 2.hive压缩包 上传至/opt 3.zeppelin压缩包 上传至/opt 二、开始搭建Hive (确保安装mysql和hadoop) 首先上传hive至opt目录下 hive-1.1.0-cdh5.14.2.tar.gz mkdir -p /op 阅读全文

摘要：HDFS文件存储系统，负责文件的上传与下载，包含NameNode（一个）和DataNode（多个）两个部分，其中，NameNode存储的是源文件，即文件的存放位置，根据这个位置定位到节点；而DataNode才是真正负责存储数据文件的节点； mapreduce计算引擎，启动工作任务对数据进行加工和处理 阅读全文

摘要：一、MapReduce特点： 简化并行计算的编程模型。只需要关心map和reduce两阶段即可，隐藏了很多系细节。 优点： 1.相对易于编程（从只需要分开，写map写reduce这个层面来讲，确实易于编程....和高阶工具没法比....） 2.可扩展性 3.高容错性（节点挂掉，yarn会调度新的节点 阅读全文

摘要：一、结构化数据直接上传 如果我们拿到要上传的数据是结构化的，那么就不需要在对数据做处理， 直接从本地上传到HDFS上即可。 代码层面也比较简单： public class UploadFileToHDFS { public static void main(String[] args) throws 阅读全文

摘要：一、Java DataBase Connectivity 用Java语言编写SQL语句，对数据库中的数据进行增删改查操作。就是个接口。 主要功能如下： （1）建立与数据库或者其他数据源的链接 （2）向数据库发送SQL命令 （3）处理数据库的返回结果 二、JDBC编程六步 1.注册驱动 2.获取数据库 阅读全文

摘要：在原JDBC基础上，进一步简化开发代码，只需实体类（根据表）、接口（CRUD操作）、mybatis.cfg.xml(链接数据库的配置文件)、xml（sql语句）打完收工。 重点看下来给两个xml文件 mybatis.cfg.xml(链接数据库的配置文件)： 这里列举两个，一个链接Oracle，取Ba 阅读全文

摘要：Hadoop基本介绍 hadoop是一个框架： hadoop的本质其实就是一系列功能模块儿组成的框架，每个模块分别负责hadoop的一些功能，如HDFS负责大数据的存储功能；Yarn，负责整个集群的资源调度；Common则负责Hadoop远程过程调用的实现以及提供序列化机制。 hadoop具有高容错 阅读全文

摘要：主程序 共含有七个内容 1.修改系统名字并映射IP 2.修改静态IP，并配置IP，网关等 3.关闭防火墙 4.将yum源更改为国内的阿里源 5.安装并配置jdk 6.安装并初始化mysql 7.以上全部配置 主程序的参数依次为：按装选择、系统名字、想设置的静态IP地址 1 main_option() 阅读全文

摘要：产生背景： 1.基于spring大量繁琐的配置文件，各种xml配置以及注解配置，为了简化整个开发过程，在spring基础之上提供了一套全新的开源的框架， 他就是spring boot。 2.它具有spring一切优秀的特性，且更加简单，功能更丰富，性能更稳定。 3.依赖模块“开箱即用”，自动配置。 阅读全文