2020年8月4日
Kettle 抽取Oracle数据到HDFS发生串行如何解决
摘要： 在做离线数仓开发的时候，很多时候我们都是将业务数据库数据抽取到数据仓库的ODS层，在抽取过程中，有时候会发现数据条数变多，这种情况下很有可能是数据库内容中有特殊字符导致，常见的导致数据串行的特殊字符有制表符(chr(9)),换行符(chr(10))和回车符(chr(13))。我们可以用replace 阅读全文
posted @ 2020-08-04 23:27 鼬手牵佐手 阅读(476) 评论(0) 推荐(0)
Spark Streaming消费KafKa数据 demo
摘要： 1.首先模拟一个生产者不断的向Kafka灌数据 package com.program.KafkaToSparkStreaming import java.util.Properties import org.apache.kafka.clients.producer.{KafkaProducer, 阅读全文
posted @ 2020-08-04 23:03 鼬手牵佐手 阅读(898) 评论(0) 推荐(0)