摘要：1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。 ODS层：原始数据层，主要是将源系统数据抽取到数仓环境 阅读全文

摘要：在做离线数仓开发的时候，很多时候我们都是将业务数据库数据抽取到数据仓库的ODS层，在抽取过程中，有时候会发现数据条数变多，这种情况下很有可能是数据库内容中有特殊字符导致，常见的导致数据串行的特殊字符有制表符(chr(9)),换行符(chr(10))和回车符(chr(13))。我们可以用replace 阅读全文

摘要：1.首先模拟一个生产者不断的向Kafka灌数据 package com.program.KafkaToSparkStreaming import java.util.Properties import org.apache.kafka.clients.producer.{KafkaProducer, 阅读全文