鼬手牵佐手

摘要： ArrayList是java语言中使用最广泛的一种集合，它的底层是基于数据实现的。今天我就来带大家彻底搞懂ArrayList的一些技术细节。 我们都知道，ArrayList底层是基于数组来实现。数组这种数据结构的最大优点，就是支持随机查询，因为在内存中，数组是一块连续的存储空间，只要知道数组的起始地 阅读全文

摘要： 1.关于为什么要阅读Kafka源码？ 其实日常生产中，我们不会接触很复杂的kafka代码，都是一些比较简单的生产者消费者代码，那为什么还是要学习Kafka源码呢？学习Kafka源码的好处是我们在日常使用Kafka的过程，不可避免的会遇到一些关于Kafka的一些bug和问题，比方说一些参数配置问题，这 阅读全文

摘要： 在hive或者impala中，null值表示这个字段值为空值（没有值），一般情况下我们把数据从原始系统抽取到数仓ODS层的时候，都要做空值处理，比方说用nvl()函数把空值置为0或者空字符串等等，如果不处理，后续可能给开发带来坑。下面以一个具体的例子说明笔者在开发的时候，由于疏忽大意，没对空值进行处 阅读全文

摘要： 在hive中，一个中文字符长度为1， 在impala中，一个中文字符长度为3！！！，这样，如果在impala中用substr()函数或者substring() 函数截取带有中文字符的字符串时，就不能把中文字符当成一个字符长度来处理，否则就会出现问题。 例如想要把‘你好2020’中的你好截取掉得到20 阅读全文

摘要： 最近在用windows 自带的计划任务配置kettle定时调度任务时发现，点击运行任务时，任务马上运行结束，且运行结果不是成功，而是0xC000013a，尝试了网上说的办法都没成功，如下图所示 是因为在配置任务时，没有选择不管用户是否登录都要运行（W），所以报了上述错误。 阅读全文

摘要： 实时数仓主要解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析，实时大屏展示，实时监控报警各个场景。虽然关于实时数仓架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。接下来主要介绍Flink SQL从0到1搭建一个实时数仓的demo，涉及到数据采集、存 阅读全文

摘要： spark在standalone模式和yarn模式下分别有两种提交任务的方式，分别是基于client的提交方式和基于cluster的提交方式。 1.standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node1:7077 --cl 阅读全文

摘要： 1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。 ODS层：原始数据层，主要是将源系统数据抽取到数仓环境 阅读全文

摘要： 在做离线数仓开发的时候，很多时候我们都是将业务数据库数据抽取到数据仓库的ODS层，在抽取过程中，有时候会发现数据条数变多，这种情况下很有可能是数据库内容中有特殊字符导致，常见的导致数据串行的特殊字符有制表符(chr(9)),换行符(chr(10))和回车符(chr(13))。我们可以用replace 阅读全文

摘要： 1.首先模拟一个生产者不断的向Kafka灌数据 package com.program.KafkaToSparkStreaming import java.util.Properties import org.apache.kafka.clients.producer.{KafkaProducer, 阅读全文