Boblim

摘要： 在 Spark Structured Streaming 里，确实没有像 DStream API 那样的 commitAsync 让你手动提交 Kafka offset。原因主要有以下几个方面： 1. Structured Streaming 的 核心设计理念 Structured Streamin 阅读全文

摘要： 一、背景 最近有一个需求是：要求有一个类对象为Order，它有string类型的字段orderNo和Long类型的字段cost，生产者写到kafka的value是Order对象序列化后的字节数组、key值是orderNo字段，要求spark以手动提交的方式消费kafka，并将数据依次写入到hive表 阅读全文

摘要： 转自：https://zhuanlan.zhihu.com/p/626497347 结论：Pattern与Matcher一起合作.Matcher类提供了对正则表达式的分组支持,以及对正则表达式的多次匹配支持. 单独用Pattern只能使用Pattern.matches(String regex,Ch 阅读全文

摘要： 转自：https://www.cnblogs.com/IcanFixIt/p/7549842.html 参考：https://www.jb51.net/article/283930.htm 一. GSON 简介 GSON是一个Java语言编写的用于处理JSON数据格式的开源应用程序编程接口项目。它将 阅读全文

摘要： 转自：https://blog.csdn.net/u011485472/article/details/109460490 Redis系列 - Redis底层数据结构(简单动态字符串(SDS)、链表、字典、跳跃表、整数集合、压缩列表) 简单动态字符串(simple dynamic string,SD 阅读全文

摘要： 一、EasyExcel实现excel文件的导出 官方文档 导入依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifac 阅读全文

摘要： 转自：https://blog.csdn.net/studio_1/article/details/130882314 一、以xml进行举例说明 1、读取xml 这里读取文件用“org.dom4j.io.SAXReader”这个类，使用“org.dom4j.Document”接收文档数据。 这是测试 阅读全文

摘要： 一、ThreadPoolExecutor的重要参数 1、corePoolSize：核心线程数 1 * 核心线程会一直存活，及时没有任务需要执行 2 * 当线程数小于核心线程数时，即使有线程空闲，线程池也会优先创建新线程处理 3 * 设置allowCoreThreadTimeout=true（默认fa 阅读全文

摘要： Redis集群介绍 Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。 Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误. Redis 集群通过分区来提供一定程度的可用性,在实 阅读全文

摘要： 一、问题描述 最近优化公司需要对不同的业务系统的缓存工具提供一个标准化的解决方案。各个业务系统将缓存数据通过map结构进行存储，然后在缓存系统中将这些map获取出来，然后保存在redis数据库中。技术经理想到的最好解决方案是将map集合直接存储在redis的hash表中。但是要求对hash表中的每个 阅读全文