dlimeng

摘要： 一.简介 该社区由微众银行开源组成，里面汇聚各种数据大佬，开源很多服务，例如：数据计算中间件，机器学习，数据质量，数据交换，调度，数据开发服务等等。 二.经历 从2019年开始进入社区，从事研究，把社区的数据服务，整合到公司，整合出来数据中台，帮助公司的数据建设向前一大部分，同时把一些结果提交到社区 阅读全文

摘要： 文章目录 一.前言二.社区三.工作四.展望 一.前言 2020年年底了，无论是自身还是社会上都发生很多事情，或喜或悲都将过去，总结下自身，展望未来，做更好的自己。 本人负责数据中台数据引擎基础架构设计和中间件开发，专注云计算大数据方向。 二.社区 阅读 由于专注领域关系，平时每天早上会阅读一篇极客时 阅读全文

摘要： 一.简介 CompletionService的应用场景：批量提交异步任务。 CompletionService将线程池Executor和阻塞队列BlockingQueue融合在一起，使得批量异步任务的管理更简单。 CompletionService能够让异步任务的执行结果有序化，先执行完的先进入阻塞 阅读全文

摘要： 文章目录 一.简介 二.线程池 2.1 简介 2.2 使用Java中线程池 2.3 注意 一.简介 创建对象，仅仅是在JVM的堆里分配一块内存而已；而创建一个线程，却需要操作系统内核的API，然后操作系统要为线程分配一系列的资源，这个成本很高了，所以线程是一个重量级的对象，应该避免频繁创建和销毁。 阅读全文

摘要： 文章目录 一.同步容器 二.并发容器 2.1 List 2.2 Map 2.3 Set 2.4 Queue 一.同步容器 Java中的容器主要可以分为四大类，分别是List、Map、Set和Queue，但并不是所有的Java容器都是线程安全的，例如：我们常用的ArrayList、HashMap就不是 阅读全文

摘要： 文章目录 一.Scala REPL 二.Spark REPL 三.总结 一.Scala REPL scala repl(“Read-Evaluate-Print-Loop”) 是一个交互式命令行解释器，它提供了一个测试scala代码的环境。ILoop和IMain是其核心实现。 属性 有用的REPL功 阅读全文

摘要： 文章目录 一.简介 二.读写锁 三.示例-缓存 一.简介 读多写少场景，实际工作中，为了优化性能，我们经常会使用缓存，例如缓存元数据、缓存基础数据等，这就是一种典型的读多写少应用场景，缓存之所以能提升性能，一个重要的条件就是缓存的数据一定是读多写少的，例如元数据和基础数据基本上不会发生变化（写少）， 阅读全文

摘要： 文章目录 一.信号量 二.信号量模型 三.使用信号量 3.1 示例-累加器 3.2 示例-限流器 一.信号量 Semaphore也是一个线程同步的辅助类，可以维护当前访问自身的线程个数，并提供了同步机制。使用Semaphore可以控制同时访问资源的线程个数，例如，实现一个文件允许的并发访问数。 二. 阅读全文

摘要： 文章目录 一.简介 二.原理 2.1 管程 2.2 可见性 2.3 可重入锁 2.4 公平锁与非公平锁 2.5 用锁的最佳实践 2.6 示例 一.简介 Java SDK并发包通过Lock和Condition两个接口来实现管程，其中Lock用于解决互斥问题，Condition 用于解决同步问题。 二. 阅读全文

摘要： 文章目录 一.简介 二.预防死锁 2.1 破坏占用且等待条件 2.2 破坏不可抢占条件 2.3 破坏循环等待条件 2.4 小结 一.简介 根据上一篇文章互斥锁 死锁实验，死锁定义：一组互相互相竞争资源的线程因互相等待，导致“永久”阻塞的现象。 class Account { private int 阅读全文