Boblim

2020年8月4日

摘要：前言最近的工作中开始使用Google的Protobuf构建REST API，按照现在使用的感觉，除了应为Protobuf的特性，接口被严格确定下来之外，暂时还么有感受到其他特别的好处。说是Protobuf比Json的序列化更小更快，但按照目前的需求，估计很就都没有还不会有这个性能的需要。既然是全新阅读全文

posted @ 2020-08-04 17:55 Boblim 阅读(16048) 评论(1) 推荐(1)

java int转byte数组

摘要： int 转 byte[] 低字节在前（低字节序） 1 public static byte[] toLH(int n) { 2 byte[] b = new byte[4]; 3 b[0] = (byte) (n & 0xff); 4 b[1] = (byte) (n >> 8 & 0xff); 5 阅读全文

posted @ 2020-08-04 17:35 Boblim 阅读(7859) 评论(0) 推荐(0)

2020年8月3日

Spark Streaming读取Kafka数据的两种方式

摘要： Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-k 阅读全文

posted @ 2020-08-03 21:51 Boblim 阅读(2577) 评论(0) 推荐(0)

Kafka - 偏移量提交

摘要：一、偏移量提交消费者提交偏移量的主要是消费者往一个名为_consumer_offset的特殊主题发送消息，消息中包含每个分区的偏移量。如果消费者一直运行，偏移量的提交并不会产生任何影响。但是如果有消费者发生崩溃，或者有新的消费者加入消费者群组的时候，会触发 Kafka 的再均衡。这使得 Kafk 阅读全文

posted @ 2020-08-03 21:41 Boblim 阅读(2647) 评论(0) 推荐(1)

Spark Streaming集成Kafka调优

摘要：调优 Spark Streaming集成Kafka时，当数据量较小时默认配置一般都能满足我们的需要，但是当数据量大的时候，就需要进行一定的调整和优化。合理的批处理时间（batchDuration）几乎所有的Spark Streaming调优文档都会提及批处理时间的调整，在StreamingCon 阅读全文

posted @ 2020-08-03 21:28 Boblim 阅读(2108) 评论(0) 推荐(0)

spark sql/hive小文件问题

摘要：针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并：参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 阅读全文

posted @ 2020-08-03 18:21 Boblim 阅读(3568) 评论(0) 推荐(0)

2020年7月22日

CompletableFuture详解

摘要：在JDK1.5已经提供了Future和Callable的实现,可以用于阻塞式获取结果,如果想要异步获取结果,通常都会以轮询的方式去获取结果,如下: 1 //定义一个异步任务 2 Future<String> future = executor.submit(()->{ 3 Thread.sleep( 阅读全文

posted @ 2020-07-22 16:29 Boblim 阅读(6559) 评论(0) 推荐(0)

2020年7月10日

SimpleDateFormat线程不安全原因及解决方案

摘要：一直以为SimpleDateFormat是线程安全的，所以平时考虑到减少不必要的新建对象总是建一个全局静态的来使用。最近在使用的时候发现了多线程时间覆盖的问题，才意识到SimpleDateFormat是线程非安全的，希望大家以后多注意吧。接下来的内容转自：https://www.cnblogs.c 阅读全文

posted @ 2020-07-10 17:47 Boblim 阅读(2576) 评论(0) 推荐(0)

2020年6月15日

基于 mysql 异步驱动的非阻塞 Mybatis【待验证】

摘要：转自：https://segmentfault.com/a/1190000016196693 虽然 spring5 也推出了 WebFlux 这一套异步技术栈，这种极大提升吞吐的玩法在 node 里玩的风生水起，但 java 世界里异步依旧不是主流，Vertx 倒是做了不少对异步的支持，但是其对于数阅读全文

posted @ 2020-06-15 16:06 Boblim 阅读(1177) 评论(0) 推荐(0)

2020年6月10日

Hive SQL优化方式及使用技巧

摘要： HIVE简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询，可以将sql语句转换为MapReduce任务进行运行同时，hive也允许熟悉map-reduce的开发者开发自定义的mapper和reducer来处理内建的mapper和r 阅读全文

posted @ 2020-06-10 19:20 Boblim 阅读(12352) 评论(0) 推荐(2)

公告