HOUHUILIN

2024年4月18日

Hive - [08] 数据仓库物理模型设计

摘要：

分区分桶表的作用、建表语句、分区分桶数据的insert和select操作、分区分桶键的设置、分区分桶数的评估...... 阅读全文

posted @ 2024-04-18 10:00 HOUHUILIN 阅读(85) 评论(0) 推荐(0)

2024年4月17日

Azkaban - [01] 概述

摘要：

简单的任务调度使用crontab、复杂的任务调度使用oozie、azkaban等开发调度系统。一、为什么学习Azkaban 一个完整的数据分析系统通常都是由大量任务单元（shell脚本、java程序、MapReduce程序、Hive脚本等）组成。各任务单元之间存在先后及前后依赖关系，为了组织起这样阅读全文

posted @ 2024-04-17 16:09 HOUHUILIN 阅读(58) 评论(0) 推荐(0)

2024年4月15日

MySQL - [11] InnoDB存储引擎

摘要：

Page 页。是真正理解InnoDB存储引擎的入口。一、Page —— 页 1.1、InnoDB 数据页及其结构为了避免一条一条读取磁盘数据，InnoDB采取页的方式，作为磁盘和内存之间交互的基本单位，一个页的大小一般是16KB。 InnoDB 为了不同的目的而设计了多种不同类型的页、存放und 阅读全文

posted @ 2024-04-15 15:35 HOUHUILIN 阅读(75) 评论(0) 推荐(0)

2024年4月11日

MySQL - [07] 查看库表数据所使用的空间大小

摘要： 1、切换数据库：use information_schema; 2、查看数据库使用大小 SELECT concat(round(sum(data_length/1024/1024),2),'MB') as data FROM information_schema.tables WHERE table 阅读全文

posted @ 2024-04-11 15:34 HOUHUILIN 阅读(81) 评论(0) 推荐(0)

2024年4月10日

Shell - [11] 开源Apache Zookeeper集群启停脚本

摘要：一、集群角色部署当前有Zookeeper集群如下主机名 ctos79-01 ctos79-02 ctos79-03 Zookeeper ○ ○ ○ 二、脚本使用三、脚本内容 #!/bin/bash # 定义ZooKeeper服务器列表 SERVERS=("ctos79-01" "ctos79- 阅读全文

posted @ 2024-04-10 10:27 HOUHUILIN 阅读(25) 评论(0) 推荐(0)

2024年4月9日

Linux - 安装centos7.x之后发现ping不了www.baidu.com

摘要：

1、首先检查网络配置 /etc/sysconfig/network-scripts 下的网卡配置文件是否有误检查方向：IP、网关、子网掩码、DNS、ONBOOT参数 2、检查防火墙是否关闭 # 查看防火墙状态 systemctl status firewalld # 关闭防火墙 systemctl 阅读全文

posted @ 2024-04-09 10:18 HOUHUILIN 阅读(622) 评论(0) 推荐(0)

2024年4月7日

Linux - centos6.6不使用ssh如何在服务器之间传输文件？

摘要：根据上一篇的设定，如果升级openssh失败之后，又无法使用ssh，该怎么传输文件呢？可以使用busybox进行文件传输，首先需要准备两台centos6.6服务器：ctos66-01和ctos66-02 目标文件是test.txt，通过busybox将该文件传输到ctos66-02的root目录下阅读全文

posted @ 2024-04-07 15:48 HOUHUILIN 阅读(266) 评论(0) 推荐(0)

2024年4月2日

Linux - centos6.6升级openssh9.7p1

摘要：

一、注意事项 1、任何会被修改的配置文件都要提前备份 2、每一步操作都要记录 3、提前预演，知道可能遇到的问题，以及对应的解决方法，能够在生产环境上升级时，更快完成操作。 4、一开始用来操作的ssh会话窗口一定不要关。（如果有超时断开连接的，速度一定要快一些，不然只能去机房了。） 5、本文所需的工具阅读全文

posted @ 2024-04-02 13:50 HOUHUILIN 阅读(870) 评论(0) 推荐(0)

2024年3月29日

MySQL - [06] 测试数据

摘要：

题记部分一、死神测试数据嗷嗷待“补” 二、火影忍者测试数据 -- 忍村表 create table hy_villages( VillageID INT PRIMARY KEY, VillageName VARCHAR(50) NOT NULL, Country VARCHAR(50) NOT 阅读全文

posted @ 2024-03-29 17:03 HOUHUILIN 阅读(35) 评论(0) 推荐(0)

数仓 - [04] 数仓分层

摘要：数仓分层是一种将数据仓库按照不同的层级进行组织和管理的方法。每个层级具有不同的功能和目的，旨在支持数据分析、报告和决策等不同的业务需求。一、数仓分层的意义和目的数仓分层的主要目的是实现数据的高效访问和分析，提高数据的可用性和性能，同时提供更好的灵活性和可扩展性。通过分层设计，可以方便地对数据进行阅读全文

posted @ 2024-03-29 12:24 HOUHUILIN 阅读(197) 评论(0) 推荐(0)

数仓 - [03] 拉链表

摘要：拉链表是一种特殊的数据结构，其应用场景十分广泛，主要如下： 1、监控系统：拉链表可以完整地记录系统的运行状态，方便进行监控和分析。 2、金融交易：在金融领域，拉链表可以记录每个交易的时间戳、交易金额、交易类型等信息，从而实现对金融风险的监控和控制。例如，可以通过拉链表查询某个时间段内的交易情况，分析阅读全文

posted @ 2024-03-29 11:58 HOUHUILIN 阅读(296) 评论(0) 推荐(0)

2024年3月28日

hbase - [06] rowkey的设计

摘要：

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有下列几种方式： 1、通过阅读全文

posted @ 2024-03-28 15:19 HOUHUILIN 阅读(135) 评论(0) 推荐(0)

hbase - [05] hbase关联hive

摘要：

一、配置 1、在hive的配置文件中配置HBASE_HOME（conf/hive-env.sh） export HBASE_HOME=/opt/module/hbase 2、将 conf/hive-env.sh 替换到hive的服务端和客户端，重启服务二、验证 1、创建一张hive表 create 阅读全文

posted @ 2024-03-28 14:44 HOUHUILIN 阅读(19) 评论(0) 推荐(0)

hbase - [04] java访问hbase

摘要：

需要导入jar包 $HBASE_HOME/lib下的所有jar包 $HADOOP_HOME/share/hadoop/common的所有jar包 package com.harley.hbase.test; import org.apache.hadoop.conf.Configuration; i 阅读全文

posted @ 2024-03-28 14:24 HOUHUILIN 阅读(35) 评论(0) 推荐(0)

hbase - [03] 客户端常用命令（hbase shell）

摘要：

1、列出所有namespace list_namespace 2、创建namespace create_namespace 'ns_name' 3、修改namespace属性 alter_namespace 'nsname', {METHOD => 'set', 'PROPERTY_NAME' => 阅读全文

posted @ 2024-03-28 14:19 HOUHUILIN 阅读(35) 评论(0) 推荐(0)

hbase - [02] 分布式安装部署

摘要：

一、角色规划主机名 node01 node02 node03 node04 Zookeeper ○ ○ ○ NameNode ○ ○ JournalNode ○ ○ ○ DataNode ○ ○ ○ ○ ResourceManager ○ ○ NodeManager ○ ○ ○ ○ Master 阅读全文

posted @ 2024-03-28 14:07 HOUHUILIN 阅读(31) 评论(0) 推荐(0)

MySQL - 数据更新场景

摘要：

Excel文件数据更新到表A的某两个字段 Excel文件中Sheet1页有两列，一列是序号，另一列是手机号。表A中有对应的序号列和手机号列。 1、首先，使用Navicat将Excel数据导入数据库，注意修改Excel字段和目标表字段的映射。 2、执行以下语句即可完成更新操作。 update tabl 阅读全文

posted @ 2024-03-28 10:47 HOUHUILIN 阅读(31) 评论(0) 推荐(0)

Linux - 批量清除失效软连接

摘要：红底白字，并且一闪一闪的都是失效的软连接，需要批量清除它们... 1、打印所有失效软连接 find ./* -type l -exec test ! -e {} \; -exec echo {} \; 2、批量清除失效软连接 find /path/to/search -type l -exec te 阅读全文

posted @ 2024-03-28 10:14 HOUHUILIN 阅读(636) 评论(0) 推荐(0)

Linux - 安装JDK（.tar.gz）

摘要：

1、上传 jdk-8u351-linux-x64.tar.gz 到 /opt/module 目录下并解压 tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/module/ 2、配置 /etc/profile文件 # 文件末尾进行配置 export JAVA_H 阅读全文

posted @ 2024-03-28 10:05 HOUHUILIN 阅读(510) 评论(0) 推荐(0)

2024年3月27日

Linux - 搭建一套Apache大数据集群

摘要：一、服务器操作系统主机名操作系统 node01 Centos 7.9 node02 Centos 7.9 node03 Centot 7.9 二、大数据服务版本服务版本下载 JDK jdk-8u351 Download Zookeeper 3.5.7 Download Hadoop 3.3 阅读全文

posted @ 2024-03-27 16:44 HOUHUILIN 阅读(40) 评论(0) 推荐(0)

Flink - [02] 安装部署（Standalone）

摘要：一、准备 1、角色规划 Flink Standalone 角色规划节点名称 node01 node02 node03 master ○ worker ○ ○ zookeeper ○ ○ ○ 二、部署 1、在node01上解压：tar -zxvf flink-1.11.2-bin-scala_2.1 阅读全文

posted @ 2024-03-27 12:08 HOUHUILIN 阅读(55) 评论(0) 推荐(0)

Java进阶 - [1-4] 反射

摘要：一、类加载区别当我们刚接触java语言的时候，我们最常见的代码应该就是初始化某个对象，然后调用该对象的方法。 1、使用new创建对象，返回对象的引用。Student student = new Student(); 2、调用方法：student.say(); 当我们想在运行期才能指定具体对象的类型阅读全文

posted @ 2024-03-27 10:10 HOUHUILIN 阅读(19) 评论(0) 推荐(0)

2024年3月26日

Oracle - [03] 存储过程

摘要：一、什么是存储过程存储过程是一种数据库对象，是一种存储在数据库中的可执行程序，是一些经过编写、编译而存在数据库中的SQL语句集。二、创建存储过程的语法 create or replace procedure pro_name [(参数1 [in]|out|in out 类型,参数2...)] i 阅读全文

posted @ 2024-03-26 10:58 HOUHUILIN 阅读(20) 评论(0) 推荐(0)

数仓 - [02] 数据仓库模型设计

摘要：一、什么是数据模型模型，指对于某个实际问题或者客观事物、规律进行抽象后的一种形式化表达方式。数据模型，多指在设计和建立数据库时，用于提供数据表示和操作手段的形式架构。企业数据模型，是企业数据特征的抽象，主要用来体现企业的业务规则以及信息。二、数据模型的层次概念模型：定义了重要的业务概念和彼阅读全文

posted @ 2024-03-26 09:19 HOUHUILIN 阅读(57) 评论(0) 推荐(0)

2024年3月22日

Java - 冒泡排序

摘要： // 冒泡排序 public class BubbleSort{ public static void main(String[] args){ // 定义一个整型的数组 int[] array = {64,34,25,12,22,11,90} bubbleSort(array); for (int 阅读全文

posted @ 2024-03-22 16:34 HOUHUILIN 阅读(11) 评论(0) 推荐(0)

Data Warehouse - [00] 参考文献

摘要：浪尖大数据：什么是数据仓库的架构？企业数据仓库架构如何建设？浪尖大数据：元数据管理在数据仓库的实践应用 — 要养成终生学习的习惯 — 阅读全文

posted @ 2024-03-22 11:44 HOUHUILIN 阅读(10) 评论(0) 推荐(0)

2024年3月20日

逆向思维 - 懂逆向思维的人有多厉害

摘要：案例一在人潮拥挤的火车上，你端着一碗泡面说：“麻烦让一让”，会被所有人当成耳风。但是你说：“开水小心烫”，大家都会自觉地为你让出一条道！所以别人不帮你，是因为你没有触及到他人的利益，想办法把你的问题和他人的利益结合起来，才能引起对方的重视。案例二一位大爷到菜市场买菜，挑了3个西红柿到秤盘，阅读全文

posted @ 2024-03-20 23:39 HOUHUILIN 阅读(45) 评论(0) 推荐(0)

Sqoop2 - [01] 安装部署

摘要： 1、启动Hadoop集群 2、将Sqoop2的安装包上传到合适的目录中解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 3、修改Hadoop的配置文件core-site.xml <property> <name>hadoop.proxyuser.root. 阅读全文

posted @ 2024-03-20 20:38 HOUHUILIN 阅读(58) 评论(0) 推荐(0)

Flume - [05] Hbase sink

摘要：一、概述此接收器将数据写入Hbase。Hbase配置是从类路径中遇到的第一个Hbase-site.xml获取的。由配置指定的实现 HbaseEventSerializer 的类用于将事件转换为 hbase、put和/或增量。然后将这些put和增量写入hbase。此接收器提供与hbase相同的一致性阅读全文

posted @ 2024-03-20 20:26 HOUHUILIN 阅读(68) 评论(0) 推荐(0)

Flume - [04] Hive Sink

摘要：一、概述 HIVE Sink 将包含分割文本或JSON数据的事件直接流到Hive表或分区中。事件是使用Hive事务编写的。一旦一组事件被提交到Hive，它们就会立即对hive查询可见。流到其中的分区可以是预先创建的，也可以是可选的，如果它们丢失了，可以创建它们。传入事件数据中的字段映射到Hive标中阅读全文

posted @ 2024-03-20 20:16 HOUHUILIN 阅读(89) 评论(0) 推荐(0)

Flume - [03] HDFS Sink

摘要：一、概述将事件写入 Hadoop 分布式文件系统（HDFS）。目前支持创建文本和序列文件。支持两种文件类型的压缩。可以根据经过的时间、数据大小或事件数周期性地滚动文件（关闭当前文件并创建文件）。根据事件起源的时间戳或机器等属性对数据进行存储/分区。HDFS目录路径可能包好格式转义序列，这些转义序阅读全文

posted @ 2024-03-20 20:11 HOUHUILIN 阅读(140) 评论(0) 推荐(0)

Flume - [02] Spooling Directory Source

摘要：一、概述可以通过将文件放入磁盘上的 "Spooldir" 目录中来获取数据。此源会监视指定目录中的新文件，并在新文件出现时解析新文件中的事件。事件解析逻辑是可插入的。在将指定文件完全读取到通道后，默认情况下通过重命名文件来指示文件来指示完成，或者可以删除它，或者使用 trackerDir 跟踪处理阅读全文

posted @ 2024-03-20 20:04 HOUHUILIN 阅读(146) 评论(0) 推荐(0)

Java进阶 - [1-5] 集合容器

摘要： ArrayList add 1、先确认是否需要扩容，如果需要，则进行扩容操作ensureExplicitCapacity。 2、进行赋值 elementData[size++] = e; 扩容 1、如果所需的最小容量大于elementData数组的容量，则进行扩容操作。 private void e 阅读全文

posted @ 2024-03-20 19:33 HOUHUILIN 阅读(18) 评论(0) 推荐(0)

IDEA - 文件上方的文档注释如何自定义

摘要： 1、在设置中打开文件和代码模板，根据描述中的参考信息进行自定义配置 File > Settings > Editor > File and Code Templates 2、配置完成之后的效果如下 — 要养成终生学习的习惯 — 阅读全文

posted @ 2024-03-20 17:44 HOUHUILIN 阅读(60) 评论(0) 推荐(0)

Java进阶 - [1-5] 泛型

摘要：一、什么是泛型早期Java是使用Object来代表任意类型的，但是向下转型有强转的问题，这样程序并不安全。针对List、Set、Map等集合类型，它们对存储的元素类型是没有任何限制的。例如向List中存储Dog类型的对象，但是有人把Cat对象也存储到这个List中了，那么在编译上是没有任何语法错阅读全文

posted @ 2024-03-20 17:37 HOUHUILIN 阅读(26) 评论(0) 推荐(0)

2024年3月18日

FineReport - [01] 概述

摘要： Gartner报表平台全球市场唯一入选国产软件！一、FineReport 是什么？有什么用途？ FineReport 是一款企业级Web报表工具，由帆软自主研发，秉持零编码的理念，易学易用且功能强大。经过多年的发展，它已经成为了中国报表软件市场的领导品牌。 FineReport的主要用途包括：报阅读全文

posted @ 2024-03-18 15:03 HOUHUILIN 阅读(97) 评论(0) 推荐(0)

Linux - top相关的快捷键

摘要： q：退出top命令窗口（quit）。 k：按照进程ID终止（kill）一个进程。例如，你可以输入k，然后输入进程的PID来终止它。 r：重新设置进程的优先级。输入r后，你可以输入新的优先级值。 f：进入字段管理界面，可以选择要显示的列。 o 或 O：用于改变top命令输出字段的排序方式。例如，你可以阅读全文

posted @ 2024-03-18 14:44 HOUHUILIN 阅读(360) 评论(0) 推荐(0)

Docker - 部署zyplayer_doc团队协作文档

摘要：原文链接：https://mp.weixin.qq.com/s/ew3O0EKLo8KoOMkpT-IePw 一、介绍 zyplayer-doc是一款适合企业和个人使用的WIKI知识库管理工具，提供在线化的知识库管理功能，专为私有化部署而设计，最大程度上保证企业或个人的数据安全，公司小团队的话完全可阅读全文

posted @ 2024-03-18 13:59 HOUHUILIN 阅读(1174) 评论(0) 推荐(0)

2024年3月16日

SpringBoot - [00] 注解大全

摘要：原文链接：https://mp.weixin.qq.com/s/DgNhohtJyEq4vMGEzqrP8A @SpringBootApplication 这个注解用于标识一个SpringBoot应用的主类。它整合了@Configuration，@EnableAutoConfiguration，@C 阅读全文

posted @ 2024-03-16 11:47 HOUHUILIN 阅读(30) 评论(0) 推荐(0)

Docker - 部署禅道

摘要：原文链接：https://mp.weixin.qq.com/s/8L0Rv6Wc0lFsQU6Lw0QloQ 简单的看了一下原文，他使用的是Ubuntu的操作系统，第一步的Docker安装相关命令我确实没有使用过。不过对Linux熟悉的话，那些命令也不难理解。我的是Centos7.5安装的docke 阅读全文

posted @ 2024-03-16 11:30 HOUHUILIN 阅读(193) 评论(0) 推荐(0)

别在最好的年纪，辜负了最好的自己。

公告