理想三旬_z - 博客园

4.Hive中的ODS、 DWD、 DWS、 ADS 数仓分层

摘要： 1、数据仓库我们常提的数仓（DataWarehouse），就是在我们已有的数据库（他是对数据的存储）的基础之上，增加了对数据的OLAP（On-Line Analytical Processing），支持复杂的数据分析操作，更侧重决策支持，提供直观易懂的查询结果，而数据库更着重的是事务处理。换句话讲阅读全文

posted @ 2021-09-29 17:50 理想三旬_z 阅读(13987) 评论(0) 推荐(1)

3.使用SSM框架来实现对数据库的增删改查

摘要：在上一篇博客，引入mybatis框架的基础上，结合spring-mvc，实现代码的进一步简化。操作： 1.新建maven的web工程：项目整体视图：（后面会一个个新建，这里总览一下） 2.导包：  <!-- https://mvnrepository.com/artifa 阅读全文

posted @ 2021-09-28 20:31 理想三旬_z 阅读(1074) 评论(0) 推荐(0)

windows环境下用dos命令将jar包打入maven本地仓库

摘要：前提是你本地已经配置好maven环境变量！ mvn install:install-file -DgroupId=org.csource -DartifactId=fastdfs-client-java -Dversion=1.27 -Dpackaging=jar -Dfile=D://fastdf 阅读全文

posted @ 2021-09-23 14:58 理想三旬_z 阅读(94) 评论(0) 推荐(0)

2.Hive数据仓库

摘要：以下全部是在Zeppelin上操作一、内部表： 1.向内部表插入数据 %hive --insert into mydemo.xxx values(1,'zhangsan',25),(2,'wangwu',27) select * from mydemo.xxx 2.创建1个压缩格式为orc的内部表阅读全文

posted @ 2021-09-22 21:08 理想三旬_z 阅读(260) 评论(0) 推荐(0)

1.Hadoop上搭建hive；初始hhive；并运用zeppelin工具

摘要：一、准备阶段 1.搭建好Hadoop的服务器。 2.hive压缩包上传至/opt 3.zeppelin压缩包上传至/opt 二、开始搭建Hive (确保安装mysql和hadoop) 首先上传hive至opt目录下 hive-1.1.0-cdh5.14.2.tar.gz mkdir -p /op 阅读全文

posted @ 2021-09-18 01:35 理想三旬_z 阅读(232) 评论(0) 推荐(0)

整个Hadoop框架工作流程

摘要： HDFS文件存储系统，负责文件的上传与下载，包含NameNode（一个）和DataNode（多个）两个部分，其中，NameNode存储的是源文件，即文件的存放位置，根据这个位置定位到节点；而DataNode才是真正负责存储数据文件的节点； mapreduce计算引擎，启动工作任务对数据进行加工和处理阅读全文

posted @ 2021-09-17 02:58 理想三旬_z 阅读(335) 评论(0) 推荐(0)

5.MapRecuce

摘要：一、MapReduce特点：简化并行计算的编程模型。只需要关心map和reduce两阶段即可，隐藏了很多系细节。优点： 1.相对易于编程（从只需要分开，写map写reduce这个层面来讲，确实易于编程....和高阶工具没法比....） 2.可扩展性 3.高容错性（节点挂掉，yarn会调度新的节点阅读全文

posted @ 2021-09-16 00:09 理想三旬_z 阅读(69) 评论(0) 推荐(0)

4.从本地上传文件至HDFS

摘要：一、结构化数据直接上传如果我们拿到要上传的数据是结构化的，那么就不需要在对数据做处理，直接从本地上传到HDFS上即可。代码层面也比较简单： public class UploadFileToHDFS { public static void main(String[] args) throws 阅读全文

posted @ 2021-09-15 19:13 理想三旬_z 阅读(1797) 评论(0) 推荐(0)

1.JDBC连接数据库（六步）

摘要：一、Java DataBase Connectivity 用Java语言编写SQL语句，对数据库中的数据进行增删改查操作。就是个接口。主要功能如下：（1）建立与数据库或者其他数据源的链接（2）向数据库发送SQL命令（3）处理数据库的返回结果二、JDBC编程六步 1.注册驱动 2.获取数据库阅读全文

posted @ 2021-09-09 22:11 理想三旬_z 阅读(283) 评论(0) 推荐(0)

2.用Mybatis框架来连接数据库

摘要：在原JDBC基础上，进一步简化开发代码，只需实体类（根据表）、接口（CRUD操作）、mybatis.cfg.xml(链接数据库的配置文件)、xml（sql语句）打完收工。重点看下来给两个xml文件 mybatis.cfg.xml(链接数据库的配置文件)：这里列举两个，一个链接Oracle，取Ba 阅读全文

posted @ 2021-09-09 16:19 理想三旬_z 阅读(129) 评论(0) 推荐(0)