2019年6月25日
kafka拦截器（示例）
摘要： 拦截内容在内容前加时间戳import java.util.Map;import org.apache.kafka.clients.producer.ProducerInterc... 阅读全文
posted @ 2019-06-25 14:59 drl_blogs 阅读(565) 评论(0) 推荐(0)
kafka消费者（官方示例）
摘要： import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.cons... 阅读全文
posted @ 2019-06-25 11:55 drl_blogs 阅读(1859) 评论(0) 推荐(0)
kafka:创建生产者（有/无回调函数示例）
摘要： import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.p... 阅读全文
posted @ 2019-06-25 11:31 drl_blogs 阅读(1559) 评论(0) 推荐(0)
统计IP地址对应的省份，并把结果存入到mysql(示例)
摘要： ip.txtaccess.logimport java.io.{BufferedReader, FileInputStream, InputStreamReader}impor... 阅读全文
posted @ 2019-06-25 10:21 drl_blogs 阅读(620) 评论(0) 推荐(0)
2019年6月24日
kafka_2.11-0.11.0.0 安装配置
摘要： 1.上传kafka_2.11-0.11.0.0.tgz2.解压tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/3.修改serve... 阅读全文
posted @ 2019-06-24 10:32 drl_blogs 阅读(1217) 评论(0) 推荐(0)
2019年6月22日
在Idea控制台调整日志等级
摘要： 1.导入包import org.apache.log4j._2.设置日志级别（DEBUG、INFO、WARN、ERROR）Logger.getLogger("org").set... 阅读全文
posted @ 2019-06-22 11:53 drl_blogs 阅读(7131) 评论(0) 推荐(0)
2019年6月20日
Spark Sql和Hive的继承
摘要： 内置Hive需要将core-site.xml和hdfs-site.xml 拷贝到spark的conf目录下。如果Spark路径下发现metastore_db，需要删除【仅第一次... 阅读全文
posted @ 2019-06-20 19:44 drl_blogs 阅读(244) 评论(0) 推荐(0)
Spark SQL：自定义函数(示例)
摘要： 文章目录UDF函数UDAF函数弱类型用户自定义聚合函数强类型用户自定义聚合函数UDF函数scala> val df=spark.read.json("people.json")... 阅读全文
posted @ 2019-06-20 17:12 drl_blogs 阅读(1399) 评论(0) 推荐(0)
Spark：【error】DataFrames转DataSet失败
摘要： Error:(45, 63) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) a... 阅读全文
posted @ 2019-06-20 17:01 drl_blogs 阅读(246) 评论(0) 推荐(0)
Spark ：【error】System memory 259522560 must be at least 471859200
摘要： java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memor... 阅读全文
posted @ 2019-06-20 15:36 drl_blogs 阅读(3331) 评论(0) 推荐(0)
下一页