随笔分类 - java
摘要：这两天有一个使用flink sql的实时流项目，需要在每个结果中标记当前时间。因为flink没有获取当前时间的函数，于是我自己定义了一个udf： import org.apache.flink.table.functions.ScalarFunction; public class CurrentU
阅读全文
摘要：本文翻译自官网：User-defined Functions https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/udfs.html Flink Table Api & SQL 翻译目录 用户定义函数是一项重要功
阅读全文
摘要：转自：https://blog.csdn.net/sunxianghuang/article/details/52287968 队列同步器（AQS） 队列同步器AbstractQueuedSynchronizer（以下简称同步器），是用来构建锁或者其他同步组件的基础框架，它使用了一个int成员变量表
阅读全文
摘要：这里主要是阐明各算法的实现思想，而不去细论算法的具体实现 标记—清除算法（Mark-Sweep） 标记—清除算法是最基础的收集算法，它分为“标记”和“清除”两个阶段：首先标记出所需回收的对象，在标记完成后统一回收掉所有被标记的对象，它的标记过程其实就是前面的可达性分析算法中判定垃圾对象的标记过程。标
阅读全文
摘要：一、Map概述 我们都知道HashMap是线程不安全的，但是HashMap的使用频率在所有map中确实属于比较高的。因为它可以满足我们大多数的场景了。 Map类继承图 上面展示了java中Map的继承图，Map是一个接口，我们常用的实现类有HashMap、LinkedHashMap、TreeMap，
阅读全文
摘要：最近项目中需要对埋点日志hive表进行分析，并且按一定的规则统计出来满足要求的用户pin。本来以为是一件比较简单的事，结果在查看导出的词表时发现很多带有"%"的明显具有url encode特征的用户pin，于是就开启了这篇文章用hive对字段进行urlDecode的探索。 在查看了一些资料后，刚开始
阅读全文
摘要：Reflect UDF JAVA类和方法通常用于处理用户希望在hive中使用的确切的函数。相比与封装一个UDF然后调用这个方法，这些 方法主要通过反射UDF去调用。Reflect使用Java反射去实例化， 并且调用对象的方法；也能够调用静态方法。这个方法必须返回一个基础类或者一个hive能序列化的类
阅读全文
摘要：Oralce中regex_like和hive的regexp对应 LIKE 语法1: A LIKE B 语法2: LIKE(A, B) 操作类型: strings 返回类型: boolean或null 描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B的正则语法，则为
阅读全文
摘要：URLDecoder对参数进行解码时候，代码如： URLDecoder.decode(param,"utf-8"); 有时候会出现类似如下的错误： URLDecoder异常Illegal hex characters in escape (%) 这是因为传参有一些特殊字符，比如%号或者说+号，导致不
阅读全文
摘要：前言 最近的工作中开始使用Google的Protobuf构建REST API，按照现在使用的感觉，除了应为Protobuf的特性，接口被严格确定下来之外，暂时还么有感受到其他特别的好处。说是Protobuf比Json的序列化更小更快，但按照目前的需求，估计很就都没有还不会有这个性能的需要。既然是全新
阅读全文
摘要：int 转 byte[] 低字节在前（低字节序） 1 public static byte[] toLH(int n) { 2 byte[] b = new byte[4]; 3 b[0] = (byte) (n & 0xff); 4 b[1] = (byte) (n >> 8 & 0xff); 5
阅读全文
摘要：Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-k
阅读全文
摘要：一、偏移量提交 消费者提交偏移量的主要是消费者往一个名为_consumer_offset的特殊主题发送消息，消息中包含每个分区的偏移量。 如果消费者一直运行，偏移量的提交并不会产生任何影响。但是如果有消费者发生崩溃，或者有新的消费者加入消费者群组的时候，会触发 Kafka 的再均衡。这使得 Kafk
阅读全文
摘要：调优 Spark Streaming集成Kafka时，当数据量较小时默认配置一般都能满足我们的需要，但是当数据量大的时候，就需要进行一定的调整和优化。 合理的批处理时间（batchDuration） 几乎所有的Spark Streaming调优文档都会提及批处理时间的调整，在StreamingCon
阅读全文
摘要：在JDK1.5已经提供了Future和Callable的实现,可以用于阻塞式获取结果,如果想要异步获取结果,通常都会以轮询的方式去获取结果,如下: 1 //定义一个异步任务 2 Future<String> future = executor.submit(()->{ 3 Thread.sleep(
阅读全文
摘要：一直以为SimpleDateFormat是线程安全的，所以平时考虑到减少不必要的新建对象总是建一个全局静态的来使用。最近在使用的时候发现了多线程时间覆盖的问题，才意识到SimpleDateFormat是线程非安全的，希望大家以后多注意吧。 接下来的内容转自：https://www.cnblogs.c
阅读全文
摘要：转自：https://segmentfault.com/a/1190000016196693 虽然 spring5 也推出了 WebFlux 这一套异步技术栈，这种极大提升吞吐的玩法在 node 里玩的风生水起，但 java 世界里异步依旧不是主流，Vertx 倒是做了不少对异步的支持，但是其对于数
阅读全文
摘要：转自：https://www.jianshu.com/p/8f548e469bbe 参考：https://www.jianshu.com/p/5d4fe4b2a726 常用的限流算法有漏桶算法和令牌桶算法，guava的RateLimiter使用的是令牌桶算法，也就是以固定的频率向桶中放入令牌，例如一
阅读全文
摘要：转自：https://blog.csdn.net/u011508527/article/details/46878205 我们都知道多进程同时操作文件会出现问题，但是具体会出现什么问题呢？不知道大家有没有仔细研究过，今天我就带大家一起来研究一下。 在操作文件之前，很有必要了解一下内核中文件的存储和访
阅读全文
摘要：转自：https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Access_control_CORS 参考：https://developer.mozilla.org/zh-CN/docs/Web/Security/Same-origin_policy 跨
阅读全文
浙公网安备 33010602011771号