2023年3月
【数据模型】 与 【数据库英语】随笔
摘要： 数据库管理系统 DBMS （DataBase-Management System） 数据库 database 文件处理系统 file-processing system 数据的冗余和不一致 data redundancy and inconsistency 数据访问困难 difficulty in 阅读全文
posted @ 2023-03-21 15:25 -YBP杨社长 阅读(37) 评论(0) 推荐(0)
计算机网络【英语专业词汇】
摘要： 计算机网络 computer network 主机 host 端系统 end system 通信链路 communication link 分组交换机 packet switch 传输速率 transmission rate 分组packet 路由器 router 链路层交换机 link-layer 阅读全文
posted @ 2023-03-11 13:15 -YBP杨社长 阅读(425) 评论(0) 推荐(0)
【flume 事务】
摘要： 事务： 保证组件内部之间传递数据的可靠性~ 问题点： Put事务容易出现数据丢失 Take事务容易出现数据重复 如何提高flume的数据吞吐量： 1. 修改source的putList 的batchsize 2. channel的batchsize & ransaction的batchsize 3. 阅读全文
posted @ 2023-03-06 20:56 -YBP杨社长 阅读(22) 评论(0) 推荐(0)
【日志的五种级别】了解
摘要： 日志有五种级别 DEBUG：详细的信息,通常只出现在诊断问题上INFO：确认一切按预期运行WARNING：一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如。磁盘空间低”)。这个软件还能按预期工作。ERROR：更严重的问题,软件没能执行一些功能CRITICAL：一个严重的错误, 阅读全文
posted @ 2023-03-06 09:55 -YBP杨社长 阅读(187) 评论(0) 推荐(0)
【离线数仓环境搭建】安装linux及安装JDK
摘要： 创建新的虚拟机 配置网络 安装vim sudo yum install -y vim 修改免密 sudo vim /etc/sudoers （执行安装命令的时候，不再需要输入密码） 查看防火墙状态 systemctl status firewalld 关闭防火墙 systemctl stop fir 阅读全文
posted @ 2023-03-01 19:34 -YBP杨社长 阅读(47) 评论(0) 推荐(0)
【离线数仓】数据仓库DW图解
摘要： 整体框架 技术选型 数据流程图 阅读全文
posted @ 2023-03-01 14:33 -YBP杨社长 阅读(44) 评论(0) 推荐(0)
2023年2月
【java数据结构与算法】直接戳中"希尔排序"要点，学不会你打我~
摘要： 希尔排序： 也叫增量递减排序 是插入排序的优化，分组+排序 Get到重点，那么我们开剖析一下 结合图表和代码，总结如下~public class ShellSort { public static void main(String[] args) { int[] arr = new int[]{15 阅读全文
posted @ 2023-02-28 15:08 -YBP杨社长 阅读(29) 评论(0) 推荐(0)
【springboot】约定优于配置
摘要： spring的核心思想：约定优于配置 @SpringBootApplication这个注解的本质是有以下三个注解 1.@SpringBootConfiguration 表示该类是一个配置类 2.@EnableAutoConfiguration 开启自动装配， 为当前应用装配好默认的配置信息. 3.@ 阅读全文
posted @ 2023-02-26 15:56 -YBP杨社长 阅读(184) 评论(0) 推荐(0)
【java】MVC模式和三层架构
摘要： MVC是一种分层开发的模式 M：Model，业务模型，处理业务，存储数据，获取数据。JavaBean对象 V: View , 视图，界面展示，展示数据。JSP或HTML C: Controller, 控制器，处理请求，调用模型和试图。Servlet 作用：用于将模型和视图分离，降低代码的耦合度 三层 阅读全文
posted @ 2023-02-26 14:51 -YBP杨社长 阅读(47) 评论(0) 推荐(0)
【Hive 元数据和真实数据-TAB_COL_STATS记录错误问题】
摘要： MySql的元数据以及HDFS上数据的关系 元数据在DBS和TBLS上 （SD_ID） 1 首先通过hive创建一个表table_test 在hdfs的存储路径会生成相应的表 TBLS 也会更新内容进行记录 2 通过hive插入insert一条数据 会走一遍MR，数据产生变化后 TAB_COL_ST 阅读全文
posted @ 2023-02-25 18:37 -YBP杨社长 阅读(227) 评论(0) 推荐(0)