PEAR2020

2020年11月26日

摘要：一、pom <dependencies>  <dependency> <groupId>org.apache.hive</groupId> <artifactId 阅读全文

posted @ 2020-11-26 18:44 PEAR2020 阅读(899) 评论(0) 推荐(0)

SpringBoot 之接口暴露(mysql)+性能调优

摘要：一、生成 springboot选择 spring-boot-starter-parent -> 2.2.11.RELEASE java -> 1.8 mybatis-spring-boot-starter -> 2.1.4 mysql-connector-java -> 5.1.38 depende 阅读全文

posted @ 2020-11-26 18:37 PEAR2020 阅读(1003) 评论(0) 推荐(0)

hive 之调优

摘要：一、结论每个窗口函数都有orderby 结论：改成全局一次orderby 子查询：MR 结论：最好不要子查询优先干死多余数据【对hive来说】=> 先inner join（不会MR），再where（会MR）【对mysql来说】=> 先 where（筛数据）再 on（where在前，多个条件阅读全文

posted @ 2020-11-26 13:44 PEAR2020 阅读(250) 评论(0) 推荐(0)

2020年11月24日

数据仓库之 ORC/PARQUET等文件保存格式 & 导入方法

摘要：常用：ORC & Parquet 性能对比： hbase底层用sequenceFile 一、从text格式到 orc => 利用中间表方法(从textfile到orc)：https://blog.csdn.net/happyrocking/article/details/90178439 CREA 阅读全文

posted @ 2020-11-24 17:09 PEAR2020 阅读(1048) 评论(0) 推荐(0)

hive 之“主键”| 索引

摘要：一、hive有主键吗？有索引吗 hive中没有主外键，但是有索引！！！关系型才有主外键！！！二、hive的“主键” 1. uuid 缺点：uuid太长了，随机的不利于重跑，如果别的维度表要用到此维度表主键做外键，只要重跑了会变，那么作为外键值又得改了2. row_number() 缺点：重复3. 阅读全文

posted @ 2020-11-24 16:35 PEAR2020 阅读(6180) 评论(0) 推荐(1)

数据抽取之 CDC(变化/增量数据捕获)

摘要：基于时间戳CDC 基于触发器的CDC 基于快照的CDC 基于日志的CDC 基本用时间戳CDC，日志CDC！分为侵入式和非侵入式。侵入式：对源数据库有sql操作，有性能影响（前三种都是） 1.基于时间戳CDC 两列时间，分别记录create_time和modify_time，可以识别变动数据缺点：阅读全文

posted @ 2020-11-24 16:34 PEAR2020 阅读(1372) 评论(2) 推荐(0)

Mysql之触发器（一种特殊模式）

摘要：分类：数据库级触发器表级触发器行级触发器增删改触发器（根据触发时机）场景1：解除外键约束一般来说，插表先插主表，删表先删从表（见：https://www.cnblogs.com/sabertobih/p/13966709.html）外键约束的创建限制： >>> 如何用触发器实现：插表和阅读全文

posted @ 2020-11-24 16:31 PEAR2020 阅读(145) 评论(0) 推荐(0)

2020年11月23日

Kafka 之入门|安装|命令|Java操作

摘要：一、什么是消息中间件 1.概念 2.分类 ActiveMQ RabbitMQ RocketMQ Kafka Redis ... 3.作用：为什么使用MQ？异步调用同步变异步（漏斗作用，保证不堵塞）应用解耦提供基于数据的接口层流量削峰（主要目的）缓解瞬时高流量压力二、Kafka概念 2. 阅读全文

posted @ 2020-11-23 13:43 PEAR2020 阅读(360) 评论(2) 推荐(0)

2020年11月20日

Java 之 JDBC线程池（源码版）

摘要：一、目录二、代码 PoolConstant package cn.kgc.kb08.jdbc.dao3.impl; public interface PoolConstant { String POOL_CORE_COUNT="coreCount"; String POOL_MAX_COUNT=" 阅读全文

posted @ 2020-11-20 16:57 PEAR2020 阅读(381) 评论(0) 推荐(0)

Java 之 hbase连接池（简易版）

摘要： Channel package com.njbdqn.services.utils; import org.apache.hadoop.hbase.client.Connection; /** * 数据库连接对象包装类,mysql自己有第三方连接池，hbase还没有 */ public class 阅读全文

posted @ 2020-11-20 13:54 PEAR2020 阅读(1209) 评论(0) 推荐(0)

公告