大数据技术与数仓

摘要： 目录 一、项目需求 二、数据介绍 三、创建表结构 四、数据清洗 五、数据加载 六、业务数据分析 七、原始数据 一、项目需求 1.统计视频观看数 Top10 2.统计视频类别热度Top10 3.统计出视频观看数最高的20个视频的所属类别以及类别包含这Top2... 阅读全文

摘要： 目录 一、软件环境 二、安装前准备 2.1配置网络名称(hostname) 2.2配置SSH免密登录 2.3集群时间同步 2.4关闭防火墙 2.5关闭SELINUX 2.6安装JDK 2.7安装和配置数据库 2.7.1安装MySQL 2.7.2为Clouder... 阅读全文

摘要： 目录 一、greenplum集群环境 二、segment故障检查 2.1gpstate -m日志信息 2.2gpstate -c 日志信息 2.3gpstate -e 日志信息 2.4gpstate -s 日志信息 2.5故障说明 三、segment故障恢... 阅读全文

摘要： 1.查看表的大小 postgres=# select pg_size_pretty(pg_relation_size('cbp_anadata201811')); 2.查看连接数 postgres=# select usename,client_addr, ... 阅读全文

摘要： 一、分区表 二、Join查询调优 优化连接查询最简单的方式是使用compute stats命令收集所有参与关联表的统计信息，让impala根据每个表的大小、列的非重复值个数等相关信息自动优化查询。 如果参与关联的表的统计信息不可用，使用impala自动的连接顺... 阅读全文

摘要： 1.Greenplum数据库中segment故障检测 1.1概述 Greenplum数据库服务器（Postgres）有一个子进程，该子进程为ftsprobe，主要作用是处理故障检测。 ftsprobe 监视Greenplum数据库阵列，它以可以配置的间隔连接并... 阅读全文

摘要： 目录 1.激活Standby master 2.恢复到原来的设置(option) 3.检查standby master的状态(option) 如果primary master节点失败，日志复制进程就会停止。可以使用gpstate -f命令查看sta... 阅读全文

摘要： 目录 1.Greenplum数据库中的冗余和故障转移 1.1关于Segment的mirror 1.2Segment故障转移和恢复 1.3关于Master的mirror 2.Greenplum数据库的高可用性 2.1 mirror segment概述 2.2... 阅读全文

摘要： 目录 1.安装sqluldr2 1.1 sqluldr2简介 1.2sqluldr2安装 2.将Oracle中的表导出成.CSV文件 2.1编写导出的执行语句 2.2执行上述的语句 3.在Greenplum中创建上述表，并将.CSV文件导入 3.1创建CUST... 阅读全文

摘要： 目录 一、概述 二、YARN的体系结构 三、YARN的工作流程 一、概述 MapReduce1.0既是一个计算框架，也是一个资源管理调度框架。到了Hadoop2.0以后，MapReduce1.0中的资源管理调度功能，被单独分离出来形成了YARN，它是一个纯... 阅读全文