sunshie

摘要： 二分法 要点: 确定目标区间究竟是左闭右开,还是左闭右闭对应理解while循环里的究竟是大于等于还是大于mid是left + (right - left) / 2 还是left + (right - left + 1)/2如果mid >x后面right = mid还是mid - 1 移除数组元素 要 阅读全文

摘要： 优化 mysql的优化可以从,硬件,系统配置,表结构,sql语句几个方面优化 硬件 硬盘选择:使用高性能的固态硬盘代替机械硬盘,提高数据读写速度 增加内存:增加数据库服务器的内存,以提高缓存效果,减少磁盘IO操作 cpu升级:升级到更快的多核cpu,提高数据库处理能力 系统配置 调整缓冲池:数据库会 阅读全文

摘要： hdfs写流程 图片来源于尚硅谷 由命令向客户端发送要存储数据的信息，客户端想要处理这个命令肯定是要又一个具体的客户端对象，遂创建一个dfs(distributed file system)类型的客户端，随后它向namenode发送请求，想要上传文件到/user/atguigunamenode收到请 阅读全文

摘要： 本文示例的安装过程是在阿里云esc实例的centos7.5下安装mysql8.0.25,使用的工具是xshell 检查依赖 rpm -qa | grep libaio rpm -qa | grep net-tools #如果不存在需要到centos安装盘里进行rpm安装,如果安装的是图形化界面的,这 阅读全文

摘要： (题目顺序不代表难度高低,只是按我记录的时间顺序) 同表同逻辑,不同区的union all改进 遇到聚合逻辑相同,对同一张表的不同分区聚合,可以考虑将行标号来进行分区 eg:最近n日新增用户统计,dwd_user_register_inc是用户域用户注册事务事实表,以`dt`作为分区字段 看到这个需 阅读全文

摘要： 出现场景:在使用datagrip操作hive进行数据仓库建模过程中出现 原因:hiveserver2打开的文件过多. 介绍:linux操作系统会对每个进程设限,例如进程使用cpu的时间,打开文件的个数... 想看某个进程打开了哪些文件在哪看? jps后记录目标进程的PID #这个目录下的数字记录的就 阅读全文

摘要： 建模意义 为什么要建数据仓库，有什么意义？ 将数据有序组织和存储，使数据得到高性能，低成本，高效率，高质量的使用 实际就是为了方便我们在处理数据时能更快的找到和运行计算出我们需要的结果 建模方法论 ER模型维度模型 ER模型 理论：用实体关系模型来描述企业业务，用规范化的方式表示出来，在范式理论上符 阅读全文

摘要： #添加环境变量 sudo vim /etc/profile.d/my_env.sh #HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin #刷新 source /etc/profile.d/my_e 阅读全文

摘要： 小文件问题是指在HDFS中存在大量的小文件，这会给HDFS带来额外的开销，影响存储和计算的效率。 要是要对小文件进行计算,那么hdfs中每一个小文件都会对应生成一个task,而每一个task的形成和计算都会占用一定的资源和启停时间,影响计算效率nn中要记录dn中存储的数据索引,小文件过多会生产很多记 阅读全文

摘要： -Dflume.root.logger=info,console 是一个 Java 系统属性，用于配置 Flume 的根日志记录器。 在 Flume 中，-Dflume.root.logger=info,console 的含义是将 Flume 的根日志记录器配置为 info,console。这意味着 阅读全文