java 锁,【Java线程】锁机制:synchronized、Lock、Condition,彻底理解volatile

Java锁 - 导读

目录

 
目录

常用锁

  • synchronized
  • ReentrantLock
  • ReadWriteLock
  • Semaphore

常用锁的介绍可参见:Java常用锁机制简介

synchronized

了解

对于初学者,想了解synchronized的使用的话,可以参考Java中synchronized的用法

总结

  • 按加锁范围大小,分为类锁对象锁
  • 按加锁方法,分为代码块加锁方法加锁

关于类锁对象锁需要着重区分下。对象锁只会影响单个对象,而类锁会影响该类下所有的对象。

进阶

synchronized进阶学习的话,需要了解下其实现原理:Synchronized及其实现原理

总结

  • 每个对象都有个monitor对象,加锁就是在竞争monitor对象
  • 代码块加锁是在前后分别加上monitorentermonitorexit指令来实现的
  • 方法加锁是通过一个标记位来判断的

再进阶

关于“synchronized比较慢”的误解

在Java1.5中,synchronized是一个重量级操作,需要调用操作系统相关接口,性能是低效的,有可能给线程加锁消耗的时间比有用操作消耗的时间更多。到了Java1.6,synchronized进行了很多的优化,有适应自旋、锁消除、锁粗化、轻量级锁及偏向锁等,效率有了本质上的提高。在之后推出的Java1.7与1.8中,均对该关键字的实现机理做了优化。

关于锁的优化,可以参考

总结

  • 引入了偏向锁轻量级锁。都是在对象头中有标记位,不需要经过操作系统加锁
  • 锁可以从偏向锁升级到轻量级锁,再升级到重量级锁。这种升级过程叫做锁膨胀
  • JDK 1.6中默认是开启偏向锁和轻量级锁,可以通过-XX:-UseBiasedLocking来禁用偏向锁

ReentrantLock

了解

对于初学者,了解ReentrantLock,可通过参考ReentrantLock的使用
ReentrantLock的使用还是比较简单的

进阶

要深入理解ReentrantLock,就需要知道其实现原理。参考文章:

总结

  • ReentrantLock是通过大名鼎鼎的AQS来实现的。弄懂了AQS,就弄懂了ReentrantLock
  • ReentrantLock分为公平锁非公平锁

引申
除了ReentrantLockCountDownLatchSemaphore也是通过AQS实现的。关于AQS,可参考未完待续...

synchronized和ReentrantLock的对比

synchronizedReentrantLock的对比是个永恒的话题。这两个常用的加锁方式有同有异,互为补充。ReentrantLock的出现不是为了替代synchronized,而是弥补synchronized的不足。

关于synchronizedReentrantLock的异同,网上的文章多如牛毛。比较好的有:

总结

  • synchronized能做的,ReentrantLock都能做,并且还能做更多。但是synchronized依然有用武之地
  • ReentrantLock相比synchronized的优势是可中断、公平锁、多个锁。这种情况下需要使用ReentrantLock。只要是synchronized能做到的,还是使用synchronized

锁分类

Java中的锁有很多概念和术语,如可重入锁、公平锁、偏向锁等。这些术语中,有些指的是同一种锁,有些是表示的锁的特征。如synchronized同时是可重入锁、非公平锁、互斥锁等。

这些术语只是从不同的纬度来描述锁的应用场景。只有了解的这些术语,术语所指代的特征,以及常用锁跟这些特征的关系,才能熟练并且合理地使用锁。

可重入锁

参考可重入锁

总结

  • 不可重入的话,一个锁在嵌套中使用会把自己锁死
  • synchronizedReentrantLock都是可重入锁,可放心使用

公平锁/非公平锁

参考Java多线程公平锁与非公平锁

总结

  • synchronized是非公平锁,ReentrantLock默认构造函数也是非公平锁
  • 非公平锁的性能比公平锁要高很多

互斥锁/共享锁

参考java并发-独占锁与共享锁

总结

  • 互斥和共享的概念比较简单,并且在任何语言中都存在

悲观锁/乐观锁

参考Java高效并发之乐观锁悲观锁

总结

  • 悲观锁和乐观锁并非是一种实际的锁,而是指一种加锁的概念
  • 这种也并非java独有,在其他语言和数据库中都有广泛的应用
  • 悲观锁在java中一般指代常见的各种锁
  • 乐观锁在java中一般指代CAS操作

偏向锁/轻量级锁/重量级锁

参考:

总结

  • 偏向锁、轻量级锁是针对重量级锁做优化而提出来的概念和实施方案
  • 这些优化大部分情况下对于开发来讲是透明的,默认开启

分段锁

参考java多线程 -- ConcurrentHashMap 锁分段机制

总结

  • 分段锁也并非一种实际的锁,而是一种思想
  • ConcurrentHashMap是学习分段锁的最好实践

自旋锁

参考自旋锁

总结

  • 自旋锁也是一种思想,一般需要配合CAS使用
  • java.util.concurrent.atomic包下的原子类是自旋锁的很好的实践

锁优化

锁优化分为两种,一种是JVM开发团队对锁的优化,这个对应用开发人员来讲,一般不需要关心。另一种是应用开发人员需要关注的锁优化,这属于开发素养的范畴。

JVM锁优化

参考Java高效并发之锁优化

总结

  • 锁粗化
  • 锁消除

应用开发锁优化

参考高并发Java(9):锁的优化和注意事项

总结

  • 锁优化是JVM实现的对锁的一种加速,算是JVM开发人员给应用开发人员提供的福利
  • 大部分情况下,应用开发人员不需要关心锁优化。

其他概念

java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁

之前做过一个测试,详情见这篇文章《多线程 +1操作的几种实现方式,及效率对比》,当时对这个测试结果很疑惑,反复执行过多次,发现结果是一样的:
1. 单线程下synchronized效率最高(当时感觉它的效率应该是最差才对);
2. AtomicInteger效率最不稳定,不同并发情况下表现不一样:短时间低并发下,效率比synchronized高,有时甚至比LongAdder还高出一点,但是高并发下,性能还不如synchronized,不同情况下性能表现很不稳定;
3. LongAdder性能稳定,在各种并发情况下表现都不错,整体表现最好,短时间的低并发下比AtomicInteger性能差一点,长时间高并发下性能最高(可以让AtomicInteger下台了);

这篇文章我们就去揭秘,为什么会是这个测试结果!

理解锁的基础知识
如果想要透彻的理解java锁的来龙去脉,需要先了解以下基础知识。

基础知识之一:锁的类型
锁从宏观上分类,分为悲观锁与乐观锁。

乐观锁
乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),如果失败则要重复读-比较-写的操作。

java中的乐观锁基本都是通过CAS操作实现的,CAS是一种更新的原子操作,比较当前值跟传入值是否一样,一样则更新,否则失败。

悲观锁
悲观锁是就是悲观思想,即认为写多,遇到并发写的可能性高,每次去拿数据的时候都认为别人会修改,所以每次在读写数据的时候都会上锁,这样别人想读写这个数据就会block直到拿到锁。java中的悲观锁就是Synchronized,AQS框架下的锁则是先尝试cas乐观锁去获取锁,获取不到,才会转换为悲观锁,如RetreenLock。

基础知识之二:java线程阻塞的代价
java的线程是映射到操作系统原生线程之上的,如果要阻塞或唤醒一个线程就需要操作系统介入,需要在户态与核心态之间切换,这种切换会消耗大量的系统资源,因为用户态与内核态都有各自专用的内存空间,专用的寄存器等,用户态切换至内核态需要传递给许多变量、参数给内核,内核也需要保护好用户态在切换时的一些寄存器值、变量等,以便内核态调用结束后切换回用户态继续工作。

如果线程状态切换是一个高频操作时,这将会消耗很多CPU处理时间;
如果对于那些需要同步的简单的代码块,获取锁挂起操作消耗的时间比用户代码执行的时间还要长,这种同步策略显然非常糟糕的。
synchronized会导致争用不到锁的线程进入阻塞状态,所以说它是java语言中一个重量级的同步操纵,被称为重量级锁,为了缓解上述性能问题,JVM从1.5开始,引入了轻量锁与偏向锁,默认启用了自旋锁,他们都属于乐观锁。

明确java线程切换的代价,是理解java中各种锁的优缺点的基础之一。

基础知识之三:markword
在介绍java锁之前,先说下什么是markword,markword是java对象数据结构中的一部分,要详细了解java对象的结构可以点击这里,这里只做markword的详细介绍,因为对象的markword和java各种类型的锁密切相关;

markword数据的长度在32位和64位的虚拟机(未开启压缩指针)中分别为32bit和64bit,它的最后2bit是锁状态标志位,用来标记当前对象的状态,对象的所处的状态,决定了markword存储的内容,如下表所示:

状态    标志位    存储内容
未锁定    01    对象哈希码、对象分代年龄
轻量级锁定    00    指向锁记录的指针
膨胀(重量级锁定)    10    执行重量级锁定的指针
GC标记    11    空(不需要记录信息)
可偏向    01    偏向线程ID、偏向时间戳、对象分代年龄
32位虚拟机在不同状态下markword结构如下图所示:

 

了解了markword结构,有助于后面了解java锁的加锁解锁过程;

小结
前面提到了java的4种锁,他们分别是重量级锁、自旋锁、轻量级锁和偏向锁,
不同的锁有不同特点,每种锁只有在其特定的场景下,才会有出色的表现,java中没有哪种锁能够在所有情况下都能有出色的效率,引入这么多锁的原因就是为了应对不同的情况;

前面讲到了重量级锁是悲观锁的一种,自旋锁、轻量级锁与偏向锁属于乐观锁,所以现在你就能够大致理解了他们的适用范围,但是具体如何使用这几种锁呢,就要看后面的具体分析他们的特性;

java中的锁
自旋锁
自旋锁原理非常简单,如果持有锁的线程能在很短时间内释放锁资源,那么那些等待竞争锁的线程就不需要做内核态和用户态之间的切换进入阻塞挂起状态,它们只需要等一等(自旋),等持有锁的线程释放锁后即可立即获取锁,这样就避免用户线程和内核的切换的消耗。

但是线程自旋是需要消耗cup的,说白了就是让cup在做无用功,如果一直获取不到锁,那线程也不能一直占用cup自旋做无用功,所以需要设定一个自旋等待的最大时间。

如果持有锁的线程执行的时间超过自旋等待的最大时间扔没有释放锁,就会导致其它争用锁的线程在最大等待时间内还是获取不到锁,这时争用线程会停止自旋进入阻塞状态。

自旋锁的优缺点
自旋锁尽可能的减少线程的阻塞,这对于锁的竞争不激烈,且占用锁时间非常短的代码块来说性能能大幅度的提升,因为自旋的消耗会小于线程阻塞挂起再唤醒的操作的消耗,这些操作会导致线程发生两次上下文切换!

但是如果锁的竞争激烈,或者持有锁的线程需要长时间占用锁执行同步块,这时候就不适合使用自旋锁了,因为自旋锁在获取锁前一直都是占用cpu做无用功,占着XX不XX,同时有大量线程在竞争一个锁,会导致获取锁的时间很长,线程自旋的消耗大于线程阻塞挂起操作的消耗,其它需要cup的线程又不能获取到cpu,造成cpu的浪费。所以这种情况下我们要关闭自旋锁;

自旋锁时间阈值
自旋锁的目的是为了占着CPU的资源不释放,等到获取到锁立即进行处理。但是如何去选择自旋的执行时间呢?如果自旋执行时间太长,会有大量的线程处于自旋状态占用CPU资源,进而会影响整体系统的性能。因此自旋的周期选的额外重要!

JVM对于自旋周期的选择,jdk1.5这个限度是一定的写死的,在1.6引入了适应性自旋锁,适应性自旋锁意味着自旋的时间不在是固定的了,而是由前一次在同一个锁上的自旋时间以及锁的拥有者的状态来决定,基本认为一个线程上下文切换的时间是最佳的一个时间,同时JVM还针对当前CPU的负荷情况做了较多的优化

如果平均负载小于CPUs则一直自旋

如果有超过(CPUs/2)个线程正在自旋,则后来线程直接阻塞

如果正在自旋的线程发现Owner发生了变化则延迟自旋时间(自旋计数)或进入阻塞

如果CPU处于节电模式则停止自旋

自旋时间的最坏情况是CPU的存储延迟(CPU A存储了一个数据,到CPU B得知这个数据直接的时间差)

自旋时会适当放弃线程优先级之间的差异

自旋锁的开启
JDK1.6中-XX:+UseSpinning开启;
-XX:PreBlockSpin=10 为自旋次数;
JDK1.7后,去掉此参数,由jvm控制;

重量级锁Synchronized
Synchronized的作用
在JDK1.5之前都是使用synchronized关键字保证同步的,Synchronized的作用相信大家都已经非常熟悉了;

它可以把任意一个非NULL的对象当作锁。

作用于方法时,锁住的是对象的实例(this);
当作用于静态方法时,锁住的是Class实例,又因为Class的相关数据存储在永久带PermGen(jdk1.8则是metaspace),永久带是全局共享的,因此静态方法锁相当于类的一个全局锁,会锁所有调用该方法的线程;
synchronized作用于一个对象实例时,锁住的是所有以该对象为锁的代码块。
Synchronized的实现
实现如下图所示;

 

它有多个队列,当多个线程一起访问某个对象监视器的时候,对象监视器会将这些线程存储在不同的容器中。

Contention List:竞争队列,所有请求锁的线程首先被放在这个竞争队列中;

Entry List:Contention List中那些有资格成为候选资源的线程被移动到Entry List中;

Wait Set:哪些调用wait方法被阻塞的线程被放置在这里;

OnDeck:任意时刻,最多只有一个线程正在竞争锁资源,该线程被成为OnDeck;

Owner:当前已经获取到所资源的线程被称为Owner;

!Owner:当前释放锁的线程。

JVM每次从队列的尾部取出一个数据用于锁竞争候选者(OnDeck),但是并发情况下,ContentionList会被大量的并发线程进行CAS访问,为了降低对尾部元素的竞争,JVM会将一部分线程移动到EntryList中作为候选竞争线程。Owner线程会在unlock时,将ContentionList中的部分线程迁移到EntryList中,并指定EntryList中的某个线程为OnDeck线程(一般是最先进去的那个线程)。Owner线程并不直接把锁传递给OnDeck线程,而是把锁竞争的权利交给OnDeck,OnDeck需要重新竞争锁。这样虽然牺牲了一些公平性,但是能极大的提升系统的吞吐量,在JVM中,也把这种选择行为称之为“竞争切换”。

OnDeck线程获取到锁资源后会变为Owner线程,而没有得到锁资源的仍然停留在EntryList中。如果Owner线程被wait方法阻塞,则转移到WaitSet队列中,直到某个时刻通过notify或者notifyAll唤醒,会重新进去EntryList中。

处于ContentionList、EntryList、WaitSet中的线程都处于阻塞状态,该阻塞是由操作系统来完成的(Linux内核下采用pthread_mutex_lock内核函数实现的)。

Synchronized是非公平锁。 Synchronized在线程进入ContentionList时,等待的线程会先尝试自旋获取锁,如果获取不到就进入ContentionList,这明显对于已经进入队列的线程是不公平的,还有一个不公平的事情就是自旋获取锁的线程还可能直接抢占OnDeck线程的锁资源。

偏向锁
Java偏向锁(Biased Locking)是Java6引入的一项多线程优化。
偏向锁,顾名思义,它会偏向于第一个访问锁的线程,如果在运行过程中,同步锁只有一个线程访问,不存在多线程争用的情况,则线程是不需要触发同步的,这种情况下,就会给线程加一个偏向锁。
如果在运行过程中,遇到了其他线程抢占锁,则持有偏向锁的线程会被挂起,JVM会消除它身上的偏向锁,将锁恢复到标准的轻量级锁。

它通过消除资源无竞争情况下的同步原语,进一步提高了程序的运行性能。

偏向锁的实现
偏向锁获取过程:
访问Mark Word中偏向锁的标识是否设置成1,锁标志位是否为01,确认为可偏向状态。

如果为可偏向状态,则测试线程ID是否指向当前线程,如果是,进入步骤5,否则进入步骤3。

如果线程ID并未指向当前线程,则通过CAS操作竞争锁。如果竞争成功,则将Mark Word中线程ID设置为当前线程ID,然后执行5;如果竞争失败,执行4。

如果CAS获取偏向锁失败,则表示有竞争。当到达全局安全点(safepoint)时获得偏向锁的线程被挂起,偏向锁升级为轻量级锁,然后被阻塞在安全点的线程继续往下执行同步代码。(撤销偏向锁的时候会导致stop the word)

执行同步代码。

注意:第四步中到达安全点safepoint会导致stop the word,时间很短。

偏向锁的释放:
偏向锁的撤销在上述第四步骤中有提到。偏向锁只有遇到其他线程尝试竞争偏向锁时,持有偏向锁的线程才会释放锁,线程不会主动去释放偏向锁。偏向锁的撤销,需要等待全局安全点(在这个时间点上没有字节码正在执行),它会首先暂停拥有偏向锁的线程,判断锁对象是否处于被锁定状态,撤销偏向锁后恢复到未锁定(标志位为“01”)或轻量级锁(标志位为“00”)的状态。

偏向锁的适用场景
始终只有一个线程在执行同步块,在它没有执行完释放锁之前,没有其它线程去执行同步块,在锁无竞争的情况下使用,一旦有了竞争就升级为轻量级锁,升级为轻量级锁的时候需要撤销偏向锁,撤销偏向锁的时候会导致stop the word操作;
在有锁的竞争时,偏向锁会多做很多额外操作,尤其是撤销偏向所的时候会导致进入安全点,安全点会导致stw,导致性能下降,这种情况下应当禁用;

查看停顿–安全点停顿日志
要查看安全点停顿,可以打开安全点日志,通过设置JVM参数 -XX:+PrintGCApplicationStoppedTime 会打出系统停止的时间,添加-XX:+PrintSafepointStatistics -XX:PrintSafepointStatisticsCount=1 这两个参数会打印出详细信息,可以查看到使用偏向锁导致的停顿,时间非常短暂,但是争用严重的情况下,停顿次数也会非常多;

注意:安全点日志不能一直打开:
1. 安全点日志默认输出到stdout,一是stdout日志的整洁性,二是stdout所重定向的文件如果不在/dev/shm,可能被锁。
2. 对于一些很短的停顿,比如取消偏向锁,打印的消耗比停顿本身还大。
3. 安全点日志是在安全点内打印的,本身加大了安全点的停顿时间。

所以安全日志应该只在问题排查时打开。
如果在生产系统上要打开,再再增加下面四个参数:
-XX:+UnlockDiagnosticVMOptions -XX: -DisplayVMOutput -XX:+LogVMOutput -XX:LogFile=/dev/shm/vm.log
打开Diagnostic(只是开放了更多的flag可选,不会主动激活某个flag),关掉输出VM日志到stdout,输出到独立文件,/dev/shm目录(内存文件系统)。

 

此日志分三部分:
第一部分是时间戳,VM Operation的类型
第二部分是线程概况,被中括号括起来
total: 安全点里的总线程数
initially_running: 安全点开始时正在运行状态的线程数
wait_to_block: 在VM Operation开始前需要等待其暂停的线程数

第三部分是到达安全点时的各个阶段以及执行操作所花的时间,其中最重要的是vmop

spin: 等待线程响应safepoint号召的时间;
block: 暂停所有线程所用的时间;
sync: 等于 spin+block,这是从开始到进入安全点所耗的时间,可用于判断进入安全点耗时;
cleanup: 清理所用时间;
vmop: 真正执行VM Operation的时间。
可见,那些很多但又很短的安全点,全都是RevokeBias, 高并发的应用会禁用掉偏向锁。

jvm开启/关闭偏向锁
开启偏向锁:-XX:+UseBiasedLocking -XX:BiasedLockingStartupDelay=0
关闭偏向锁:-XX:-UseBiasedLocking
轻量级锁
轻量级锁是由偏向所升级来的,偏向锁运行在一个线程进入同步块的情况下,当第二个线程加入锁争用的时候,偏向锁就会升级为轻量级锁;
轻量级锁的加锁过程:

在代码进入同步块的时候,如果同步对象锁状态为无锁状态(锁标志位为“01”状态,是否为偏向锁为“0”),虚拟机首先将在当前线程的栈帧中建立一个名为锁记录(Lock Record)的空间,用于存储锁对象目前的Mark Word的拷贝,官方称之为 Displaced Mark Word。这时候线程堆栈与对象头的状态如图:
  所示。

拷贝对象头中的Mark Word复制到锁记录中;

拷贝成功后,虚拟机将使用CAS操作尝试将对象的Mark Word更新为指向Lock Record的指针,并将Lock record里的owner指针指向object mark word。如果更新成功,则执行步骤4,否则执行步骤5。

如果这个更新动作成功了,那么这个线程就拥有了该对象的锁,并且对象Mark Word的锁标志位设置为“00”,即表示此对象处于轻量级锁定状态,这时候线程堆栈与对象头的状态如图所示。
  

如果这个更新操作失败了,虚拟机首先会检查对象的Mark Word是否指向当前线程的栈帧,如果是就说明当前线程已经拥有了这个对象的锁,那就可以直接进入同步块继续执行。否则说明多个线程竞争锁,轻量级锁就要膨胀为重量级锁,锁标志的状态值变为“10”,Mark Word中存储的就是指向重量级锁(互斥量)的指针,后面等待锁的线程也要进入阻塞状态。 而当前线程便尝试使用自旋来获取锁,自旋就是为了不让线程阻塞,而采用循环去获取锁的过程。

轻量级锁的释放
释放锁线程视角:由轻量锁切换到重量锁,是发生在轻量锁释放锁的期间,之前在获取锁的时候它拷贝了锁对象头的markword,在释放锁的时候如果它发现在它持有锁的期间有其他线程来尝试获取锁了,并且该线程对markword做了修改,两者比对发现不一致,则切换到重量锁。

因为重量级锁被修改了,所有display mark word和原来的markword不一样了。

怎么补救,就是进入mutex前,compare一下obj的markword状态。确认该markword是否被其他线程持有。

此时如果线程已经释放了markword,那么通过CAS后就可以直接进入线程,无需进入mutex,就这个作用。

尝试获取锁线程视角:如果线程尝试获取锁的时候,轻量锁正被其他线程占有,那么它就会修改markword,修改重量级锁,表示该进入重量锁了。

还有一个注意点:等待轻量锁的线程不会阻塞,它会一直自旋等待锁,并如上所说修改markword。

这就是自旋锁,尝试获取锁的线程,在没有获得锁的时候,不被挂起,而转而去执行一个空循环,即自旋。在若干个自旋后,如果还没有获得锁,则才被挂起,获得锁,则执行代码。

总结


synchronized的执行过程:
1. 检测Mark Word里面是不是当前线程的ID,如果是,表示当前线程处于偏向锁
2. 如果不是,则使用CAS将当前线程的ID替换Mard Word,如果成功则表示当前线程获得偏向锁,置偏向标志位1
3. 如果失败,则说明发生竞争,撤销偏向锁,进而升级为轻量级锁。
4. 当前线程使用CAS将对象头的Mark Word替换为锁记录指针,如果成功,当前线程获得锁
5. 如果失败,表示其他线程竞争锁,当前线程便尝试使用自旋来获取锁。
6. 如果自旋成功则依然处于轻量级状态。
7. 如果自旋失败,则升级为重量级锁。

上面几种锁都是JVM自己内部实现,当我们执行synchronized同步块的时候jvm会根据启用的锁和当前线程的争用情况,决定如何执行同步操作;

在所有的锁都启用的情况下线程进入临界区时会先去获取偏向锁,如果已经存在偏向锁了,则会尝试获取轻量级锁,启用自旋锁,如果自旋也没有获取到锁,则使用重量级锁,没有获取到锁的线程阻塞挂起,直到持有锁的线程执行完同步块唤醒他们;

偏向锁是在无锁争用的情况下使用的,也就是同步开在当前线程没有执行完之前,没有其它线程会执行该同步块,一旦有了第二个线程的争用,偏向锁就会升级为轻量级锁,如果轻量级锁自旋到达阈值后,没有获取到锁,就会升级为重量级锁;

如果线程争用激烈,那么应该禁用偏向锁。

锁优化
以上介绍的锁不是我们代码中能够控制的,但是借鉴上面的思想,我们可以优化我们自己线程的加锁操作;

减少锁的时间
不需要同步执行的代码,能不放在同步快里面执行就不要放在同步快内,可以让锁尽快释放;

减少锁的粒度
它的思想是将物理上的一个锁,拆成逻辑上的多个锁,增加并行度,从而降低锁竞争。它的思想也是用空间来换时间;

java中很多数据结构都是采用这种方法提高并发操作的效率:

ConcurrentHashMap
java中的ConcurrentHashMap在jdk1.8之前的版本,使用一个Segment 数组

Segment< K,V >[] segments
1
Segment继承自ReenTrantLock,所以每个Segment就是个可重入锁,每个Segment 有一个HashEntry< K,V >数组用来存放数据,put操作时,先确定往哪个Segment放数据,只需要锁定这个Segment,执行put,其它的Segment不会被锁定;所以数组中有多少个Segment就允许同一时刻多少个线程存放数据,这样增加了并发能力。

LongAdder
LongAdder 实现思路也类似ConcurrentHashMap,LongAdder有一个根据当前并发状况动态改变的Cell数组,Cell对象里面有一个long类型的value用来存储值;
开始没有并发争用的时候或者是cells数组正在初始化的时候,会使用cas来将值累加到成员变量的base上,在并发争用的情况下,LongAdder会初始化cells数组,在Cell数组中选定一个Cell加锁,数组有多少个cell,就允许同时有多少线程进行修改,最后将数组中每个Cell中的value相加,在加上base的值,就是最终的值;cell数组还能根据当前线程争用情况进行扩容,初始长度为2,每次扩容会增长一倍,直到扩容到大于等于cpu数量就不再扩容,这也就是为什么LongAdder比cas和AtomicInteger效率要高的原因,后面两者都是volatile+cas实现的,他们的竞争维度是1,LongAdder的竞争维度为“Cell个数+1”为什么要+1?因为它还有一个base,如果竞争不到锁还会尝试将数值加到base上;

LinkedBlockingQueue
LinkedBlockingQueue也体现了这样的思想,在队列头入队,在队列尾出队,入队和出队使用不同的锁,相对于LinkedBlockingArray只有一个锁效率要高;

拆锁的粒度不能无限拆,最多可以将一个锁拆为当前cup数量个锁即可;

锁粗化
大部分情况下我们是要让锁的粒度最小化,锁的粗化则是要增大锁的粒度;
在以下场景下需要粗化锁的粒度:
假如有一个循环,循环内的操作需要加锁,我们应该把锁放到循环外面,否则每次进出循环,都进出一次临界区,效率是非常差的;

使用读写锁
ReentrantReadWriteLock 是一个读写锁,读操作加读锁,可以并发读,写操作使用写锁,只能单线程写;

读写分离
CopyOnWriteArrayList 、CopyOnWriteArraySet
CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候,不直接往当前容器添加,而是先将当前容器进行Copy,复制出一个新的容器,然后新的容器里添加元素,添加完元素之后,再将原容器的引用指向新的容器。这样做的好处是我们可以对CopyOnWrite容器进行并发的读,而不需要加锁,因为当前容器不会添加任何元素。所以CopyOnWrite容器也是一种读写分离的思想,读和写不同的容器。
 CopyOnWrite并发容器用于读多写少的并发场景,因为,读的时候没有锁,但是对其进行更改的时候是会加锁的,否则会导致多个线程同时复制出多个副本,各自修改各自的;

使用cas
如果需要同步的操作执行速度非常快,并且线程竞争并不激烈,这时候使用cas效率会更高,因为加锁会导致线程的上下文切换,如果上下文切换的耗时比同步操作本身更耗时,且线程对资源的竞争不激烈,使用volatiled+cas操作会是非常高效的选择;

消除缓存行的伪共享
除了我们在代码中使用的同步锁和jvm自己内置的同步锁外,还有一种隐藏的锁就是缓存行,它也被称为性能杀手。
在多核cup的处理器中,每个cup都有自己独占的一级缓存、二级缓存,甚至还有一个共享的三级缓存,为了提高性能,cpu读写数据是以缓存行为最小单元读写的;32位的cpu缓存行为32字节,64位cup的缓存行为64字节,这就导致了一些问题。
例如,多个不需要同步的变量因为存储在连续的32字节或64字节里面,当需要其中的一个变量时,就将它们作为一个缓存行一起加载到某个cup-1私有的缓存中(虽然只需要一个变量,但是cpu读取会以缓存行为最小单位,将其相邻的变量一起读入),被读入cpu缓存的变量相当于是对主内存变量的一个拷贝,也相当于变相的将在同一个缓存行中的几个变量加了一把锁,这个缓存行中任何一个变量发生了变化,当cup-2需要读取这个缓存行时,就需要先将cup-1中被改变了的整个缓存行更新回主存(即使其它变量没有更改),然后cup-2才能够读取,而cup-2可能需要更改这个缓存行的变量与cpu-1已经更改的缓存行中的变量是不一样的,所以这相当于给几个毫不相关的变量加了一把同步锁;
为了防止伪共享,不同jdk版本实现方式是不一样的:
1. 在jdk1.7之前会 将需要独占缓存行的变量前后添加一组long类型的变量,依靠这些无意义的数组的填充做到一个变量自己独占一个缓存行;
2. 在jdk1.7因为jvm会将这些没有用到的变量优化掉,所以采用继承一个声明了好多long变量的类的方式来实现;
3. 在jdk1.8中通过添加sun.misc.Contended注解来解决这个问题,若要使该注解有效必须在jvm中添加以下参数:
-XX:-RestrictContended

sun.misc.Contended注解会在变量前面添加128字节的padding将当前变量与其他变量进行隔离;
关于什么是缓存行,jdk是如何避免缓存行的,网上有非常多的解释,在这里就不再深入讲解了;

其它方式等待着大家一起补充

java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁_zqz_zqz的博客-CSDN博客_偏向锁 轻量级锁 重量级锁

多线程 +1操作的几种实现方式,及效率对比

比较LongAdder ,Atomic,synchronized 以及使用Unsafe类中实现的cas 和模拟Atomic,在多线程下的效率 ,见代码,放开对应注释,运行即可看到结果,通过更改线程数,可以查看不同并发情况下性能对比,通过更改循环执行次数,可以查看长时间或短时间持续并发情况下性能对比;

测试服务器cpu 为i3-4170, 4核  3.7GHz

 

 

import java.lang.reflect.Field;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.concurrent.atomic.LongAdder;
 
import sun.misc.Unsafe;
 
 
/**
 * 线程安全的+1操作实现种类
 * @author Administrator
 *
 */
public class Test extends Thread {
    
    //整体表现最好,短时间的低并发下比AtomicInteger性能差一点,高并发下性能最高;
    private static LongAdder longAdder = new LongAdder();
    
    //短时间低并发下,效率比synchronized高,甚至比LongAdder还高出一点,但是高并发下,性能还不如synchronized;不同情况下性能表现很不稳定;可见atomic只适合锁争用不激烈的场景
    private static AtomicInteger atomInteger = new AtomicInteger(0);
    
    //单线程情况性能最好,随着线程数增加,性能越来越差,但是比cas高
    private static  int $synchronized = 0;
    
    //高并发下,cas性能最差
    public static volatile int cas = 0;
    private static long casOffset;
    
    public static  Unsafe UNSAFE;
    
    static {
            try {
                @SuppressWarnings("ALL")
                Field theUnsafe = Unsafe.class.getDeclaredField("theUnsafe");
                theUnsafe.setAccessible(true);
                UNSAFE = (Unsafe) theUnsafe.get(null);
                casOffset = UNSAFE.staticFieldOffset(Test.class.getDeclaredField("cas"));
            } catch (Exception e) {
                e.printStackTrace();
            }
    }
    
    //乐观锁   调用unsafe类实现cas
    public void cas(){
         boolean bl = false;
         int tmp;
         while(!bl){
             tmp = cas;
             bl = UNSAFE.compareAndSwapInt(Test.class, casOffset, tmp,tmp+1);
         }
    }
    
    //模拟AtomicInteger的实现
    public void atomicInteger(){
         UNSAFE.getAndAddInt(this, casOffset, 1);
    }
    
    
    //对a执行+1操作,执行10000次
    public void run(){
        int i =1;
        while(i<=10000000){
            //测试AtomicInteger
            atomInteger.incrementAndGet();
            
            //atomicInteger实现;
//            atomicInteger();
            
            //测试LongAdder
//            longAdder.increment();
            
            
            //测试volatile和cas  乐观锁  
//            cas();
            
            //测试锁
//            synchronized(lock){
//                ++$synchronized;
//            }
            
            i++;
        }
    }
    public static void main(String[] args){
        long start = System.currentTimeMillis();
        //100个线程
        for(int i =1 ; i<=60;i++ ){
            new Test().start();
        }
        while(Thread.activeCount()>1){
            Thread.yield();
        }
 
        System.out.println(System.currentTimeMillis() - start);
        System.out.println($synchronized);
        System.out.println(atomInteger);
        System.out.println(longAdder);
        System.out.println(cas);
    }
    
}

线程 基本方法
线程相关的基本方法有 wait,notify,notifyAll,sleep,join,yield 等。

4.1.10.1. 线程等待(wait )
调用该方法的线程进入 WAITING 状态,只有等待另外线程的通知或被中断才会返回,需要注意的
是调用 wait()方法后,会释放对象的锁。因此,wait 方法一般用在同步方法或同步代码块中。
4.1.10.2. 线程睡眠(sleep )
sleep 导致当前线程休眠,与 wait 方法不同的是 sleep 不会释放当前占有的锁,sleep(long)会导致
线程进入 TIMED-WATING 状态,而 wait()方法会导致当前线程进入 WATING 状态
4.1.10.3. 线程让步(yield )
yield 会使当前线程让出 CPU 执行时间片,与其他线程一起重新竞争 CPU 时间片。一般情况下,
优先级高的线程有更大的可能性成功竞争得到 CPU 时间片,但这又不是绝对的,有的操作系统对
线程优先级并不敏感。
4.1.10.4. 线程中断(interrupt )
中断一个线程,其本意是给这个线程一个通知信号,会影响这个线程内部的一个中断标识位。这
个线程本身并不会因此而改变状态(如阻塞,终止等)。
1. 调用 interrupt()方法并不会中断一个正在运行的线程。也就是说处于 Running 状态的线
程并不会因为被中断而被终止,仅仅改变了内部维护的中断标识位而已。
2. 若调用 sleep()而使线程处于 TIMED-WATING 状态,这时调用 interrupt()方法,会抛出
InterruptedException,从而使线程提前结束 TIMED-WATING 状态。

3. 许多声明抛出 InterruptedException 的方法(如 Thread.sleep(long mills 方法)),抛出异
常前,都会清除中断标识位,所以抛出异常后,调用 isInterrupted()方法将会返回 false。
4. 中断状态是线程固有的一个标识位,可以通过此标识位安全的终止线程。比如,你想终止
一个线程thread的时候,可以调用thread.interrupt()方法,在线程的run方法内部可以
根据 thread.isInterrupted()的值来优雅的终止线程。
4.1.10.5. Join 等待其他线程终止
join() 方法,等待其他线程终止,在当前线程中调用一个线程的 join() 方法,则当前线程转为阻塞
状态,回到另一个线程结束,当前线程再由阻塞状态变为就绪状态,等待 cpu 的宠幸。
4.1.10.6. 为什么要用 join() 方法 ?
很多情况下,主线程生成并启动了子线程,需要用到子线程返回的结果,也就是需要主线程需要
在子线程结束后再结束,这时候就要用到 join() 方法。
System.out.println(Thread.currentThread().getName() + "线程运行开始!");
Thread6 thread1 = new Thread6();
thread1.setName("线程 B");
thread1.join();
System.out.println("这时 thread1 执行完毕之后才能执行主线程");
4.1.10.7. 线程唤醒(notify )
Object 类中的 notify() 方法,唤醒在此对象监视器上等待的单个线程,如果所有线程都在此对象
上等待,则会选择唤醒其中一个线程,选择是任意的,并在对实现做出决定时发生,线程通过调
用其中一个 wait() 方法,在对象的监视器上等待,直到当前的线程放弃此对象上的锁定,才能继
续执行被唤醒的线程,被唤醒的线程将以常规方式与在该对象上主动同步的其他所有线程进行竞
争。类似的方法还有 notifyAll() ,唤醒再次监视器上等待的所有线程。
4.1.10.8. 其他方法:
1. sleep():强迫一个线程睡眠N毫秒。
2. isAlive(): 判断一个线程是否存活。
3. join(): 等待线程终止。
4. activeCount(): 程序中活跃的线程数。
5. enumerate(): 枚举程序中的线程。
6. currentThread(): 得到当前线程。
7. isDaemon(): 一个线程是否为守护线程。
8. setDaemon(): 设置一个线程为守护线程。(用户线程和守护线程的区别在于,是否等待主线
程依赖于主线程结束而结束)
9. setName(): 为线程设置一个名称。
10. wait(): 强迫一个线程等待。

11. notify(): 通知一个线程继续运行。
12. setPriority(): 设置一个线程的优先级。
13. getPriority()::获得一个线程的优先级。
4.1.11. 线程 上下文切换
巧妙地利用了时间片轮转的方式, CPU 给每个任务都服务一定的时间,然后把当前任务的状态保存
下来,在加载下一任务的状态后,继续服务下一任务,任务的状态保存及再加载, 这段过程就叫做
上下文切换。时间片轮转的方式使多个任务在同一颗 CPU 上执行变成了可能。


4.1.11.1. 进程
(有时候也称做任务)是指一个程序运行的实例。在 Linux 系统中,线程就是能并行运行并且
与他们的父进程(创建他们的进程)共享同一地址空间(一段内存区域)和其他资源的轻量
级的进程。
4.1.11.2. 上下文
是指某一时间点 CPU 寄存器和程序计数器的内容。
4.1.11.3. 寄存器
是 CPU 内部的数量较少但是速度很快的内存(与之对应的是 CPU 外部相对较慢的 RAM 主内
存)。寄存器通过对常用值(通常是运算的中间值)的快速访问来提高计算机程序运行的速
度。
4.1.11.4. 程序计数器
是一个专用的寄存器,用于表明指令序列中 CPU 正在执行的位置,存的值为正在执行的指令
的位置或者下一个将要被执行的指令的位置,具体依赖于特定的系统。
4.1.11.5. PCB-“切换桢”
上下文切换可以认为是内核(操作系统的核心)在 CPU 上对于进程(包括线程)进行切换,上下
文切换过程中的信息是保存在进程控制块(PCB, process control block)中的。PCB 还经常被称
作“切换桢”(switchframe)。信息会一直保存到 CPU 的内存中,直到他们被再次使用。

4.1.11.6. 上下文切换的活动:
1. 挂起一个进程,将这个进程在 CPU 中的状态(上下文)存储于内存中的某处。
2. 在内存中检索下一个进程的上下文并将其在 CPU 的寄存器中恢复。
3. 跳转到程序计数器所指向的位置(即跳转到进程被中断时的代码行),以恢复该进程在程序
中。
4.1.11.7. 引起线程上下文切换 的原因
1. 当前执行任务的时间片用完之后,系统 CPU 正常调度下一个任务;
2. 当前执行任务碰到 IO 阻塞,调度器将此任务挂起,继续下一任务;
3. 多个任务抢占锁资源,当前任务没有抢到锁资源,被调度器挂起,继续下一任务;
4. 用户代码挂起当前任务,让出 CPU 时间;
5. 硬件中断;
4.1.12. 同步锁与死锁
4.1.12.1. 同步锁
当多个线程同时访问同一个数据时,很容易出现问题。为了避免这种情况出现,我们要保证线程
同步互斥,就是指并发执行的多个线程,在同一时间内只允许一个线程访问共享数据。 Java 中可
以使用 synchronized 关键字来取得一个对象的同步锁。
4.1.12.2. 死锁
何为死锁,就是多个线程同时被阻塞,它们中的一个或者全部都在等待某个资源被释放。
4.1.13. 线程池 原理
线程池做的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后
启动这些任务,如果线程数量超过了最大数量超出数量的线程排队等候,等其它线程执行完毕,
再从队列中取出任务来执行。他的主要特点为:线程复用;控制最大并发数;管理线程。
4.1.13.1. 线程复用
每一个 Thread 的类都有一个 start 方法。 当调用 start 启动线程时 Java 虚拟机会调用该类的 run
方法。 那么该类的 run() 方法中就是调用了 Runnable 对象的 run() 方法。 我们可以继承重写
Thread 类,在其 start 方法中添加不断循环调用传递过来的 Runnable 对象。 这就是线程池的实
现原理。循环方法中不断获取 Runnable 是用 Queue 实现的,在获取下一个 Runnable 之前可以
是阻塞的。
4.1.13.2. 线程池的组成
一般的线程池主要分为以下 4 个组成部分:

1. 线程池管理器:用于创建并管理线程池
2. 工作线程:线程池中的线程
3. 任务接口:每个任务必须实现的接口,用于工作线程调度其运行
4. 任务队列:用于存放待处理的任务,提供一种缓冲机制
Java 中的线程池是通过 Executor 框架实现的,该框架中用到了 Executor,Executors,
ExecutorService,ThreadPoolExecutor ,Callable 和 Future、FutureTask 这几个类。


ThreadPoolExecutor 的构造方法如下:
public ThreadPoolExecutor(int corePoolSize,int maximumPoolSize, long keepAliveTime,
TimeUnit unit, BlockingQueue workQueue) {
this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
Executors.defaultThreadFactory(), defaultHandler);
}
1. corePoolSize:指定了线程池中的线程数量。
2. maximumPoolSize:指定了线程池中的最大线程数量。
3. keepAliveTime:当前线程池数量超过 corePoolSize 时,多余的空闲线程的存活时间,即多
次时间内会被销毁。
4. unit:keepAliveTime 的单位。
5. workQueue:任务队列,被提交但尚未被执行的任务。
6. threadFactory:线程工厂,用于创建线程,一般用默认的即可。
7. handler:拒绝策略,当任务太多来不及处理,如何拒绝任务。

4.1.13.3. 拒绝策略
线程池中的线程已经用完了,无法继续为新任务服务,同时,等待队列也已经排满了,再也
塞不下新任务了。这时候我们就需要拒绝策略机制合理的处理这个问题。
JDK 内置的拒绝策略如下:
1. AbortPolicy : 直接抛出异常,阻止系统正常运行。
2. CallerRunsPolicy : 只要线程池未关闭,该策略直接在调用者线程中,运行当前被丢弃的
任务。显然这样做不会真的丢弃任务,但是,任务提交线程的性能极有可能会急剧下降。
3. DiscardOldestPolicy : 丢弃最老的一个请求,也就是即将被执行的一个任务,并尝试再
次提交当前任务。
4. DiscardPolicy : 该策略默默地丢弃无法处理的任务,不予任何处理。如果允许任务丢
失,这是最好的一种方案。
以上内置拒绝策略均实现了 RejectedExecutionHandler 接口,若以上策略仍无法满足实际
需要,完全可以自己扩展 RejectedExecutionHandler 接口。
4.1.13.4. Java 线程池工作过程
1. 线程池刚创建时,里面没有一个线程。任务队列是作为参数传进来的。不过,就算队列里面
有任务,线程池也不会马上执行它们。
2. 当调用 execute() 方法添加一个任务时,线程池会做如下判断:
a) 如果正在运行的线程数量小于 corePoolSize,那么马上创建线程运行这个任务;
b) 如果正在运行的线程数量大于或等于 corePoolSize,那么将这个任务放入队列;
c) 如果这时候队列满了,而且正在运行的线程数量小于 maximumPoolSize,那么还是要
创建非核心线程立刻运行这个任务;
d) 如果队列满了,而且正在运行的线程数量大于或等于 maximumPoolSize,那么线程池
会抛出异常 RejectExecutionException。
3. 当一个线程完成任务时,它会从队列中取下一个任务来执行。
4. 当一个线程无事可做,超过一定的时间(keepAliveTime)时,线程池会判断,如果当前运
行的线程数大于 corePoolSize,那么这个线程就被停掉。所以线程池的所有任务完成后,它
最终会收缩到 corePoolSize 的大小。

4.1.14. JAVA 阻塞队列原理
阻塞队列,关键字是阻塞,先理解阻塞的含义,在阻塞队列中,线程阻塞有这样的两种情况:
1. 当队列中没有数据的情况下,消费者端的所有线程都会被自动阻塞(挂起),直到有数据放
入队列。


2. 当队列中填满数据的情况下,生产者端的所有线程都会被自动阻塞(挂起),直到队列中有
空的位置,线程被自动唤醒。

? 抛出异常:抛出一个异常;
? 特殊值:返回一个特殊值(null 或 false,视情况而定)
? 则塞:在成功操作之前,一直阻塞线程
? 超时:放弃前只在最大的时间内阻塞
插入操作:
1:public abstract boolean add(E paramE):将指定元素插入此队列中(如果立即可行
且不会违反容量限制),成功时返回 true,如果当前没有可用的空间,则抛
出 IllegalStateException。如果该元素是 NULL,则会抛出 NullPointerException 异常。
2:public abstract boolean offer(E paramE):将指定元素插入此队列中(如果立即可行
且不会违反容量限制),成功时返回 true,如果当前没有可用的空间,则返回 false。
3:public abstract void put(E paramE) throws InterruptedException: 将指定元素插
入此队列中,将等待可用的空间(如果有必要)
public void put(E paramE) throws InterruptedException {
checkNotNull(paramE);
ReentrantLock localReentrantLock = this.lock;
localReentrantLock.lockInterruptibly();
try {
while (this.count == this.items.length)
this.notFull.await();//如果队列满了,则线程阻塞等待
enqueue(paramE);

localReentrantLock.unlock();
} finally {
localReentrantLock.unlock();
}
}
4:offer(E o, long timeout, TimeUnit unit):可以设定等待的时间,如果在指定的时间
内,还不能往队列中加入 BlockingQueue,则返回失败。
获取数据操作 :
1:poll(time):取走 BlockingQueue 里排在首位的对象,若不能立即取出,则可以等 time 参数
规定的时间,取不到时返回 null;
2:poll(long timeout, TimeUnit unit):从 BlockingQueue 取出一个队首的对象,如果在
指定时间内,队列一旦有数据可取,则立即返回队列中的数据。否则直到时间超时还没有数
据可取,返回失败。
3:take():取走 BlockingQueue 里排在首位的对象,若 BlockingQueue 为空,阻断进入等待状
态直到 BlockingQueue 有新的数据被加入。
4.drainTo():一次性从 BlockingQueue 获取所有可用的数据对象(还可以指定获取数据的个
数),通过该方法,可以提升获取数据效率;不需要多次分批加锁或释放锁。
4.1.14.2. Java 中的阻塞队列
1. ArrayBlockingQueue :由数组结构组成的有界阻塞队列。
2. LinkedBlockingQueue :由链表结构组成的有界阻塞队列。
3. PriorityBlockingQueue :支持优先级排序的无界阻塞队列。
4. DelayQueue:使用优先级队列实现的无界阻塞队列。
5. SynchronousQueue:不存储元素的阻塞队列。
6. LinkedTransferQueue:由链表结构组成的无界阻塞队列。
7. LinkedBlockingDeque:由链表结构组成的双向阻塞队列

4.1.14.3. ArrayBlockingQueue(公平、非公平)
用数组实现的有界阻塞队列。此队列按照先进先出(FIFO)的原则对元素进行排序。默认情况下
不保证访问者公平的访问队列,所谓公平访问队列是指阻塞的所有生产者线程或消费者线程,当
队列可用时,可以按照阻塞的先后顺序访问队列,即先阻塞的生产者线程,可以先往队列里插入
元素,先阻塞的消费者线程,可以先从队列里获取元素。通常情况下为了保证公平性会降低吞吐
量。我们可以使用以下代码创建一个公平的阻塞队列:
ArrayBlockingQueue fairQueue = new ArrayBlockingQueue(1000,true);
4.1.14.4. LinkedBlockingQueue(两个独立锁提高并发)
基于链表的阻塞队列,同ArrayListBlockingQueue类似,此队列按照先进先出(FIFO)的原则对
元素进行排序。而 LinkedBlockingQueue 之所以能够高效的处理并发数据,还因为其对于生产者
端和消费者端分别采用了独立的锁来控制数据同步,这也意味着在高并发的情况下生产者和消费
者可以并行地操作队列中的数据,以此来提高整个队列的并发性能。
LinkedBlockingQueue 会默认一个类似无限大小的容量(Integer.MAX_VALUE)。
4.1.14.5. PriorityBlockingQueue(compareTo 排序实现优先)
是一个支持优先级的无界队列。默认情况下元素采取自然顺序升序排列。可以自定义实现
compareTo()方法来指定元素进行排序规则,或者初始化 PriorityBlockingQueue 时,指定构造
参数 Comparator 来对元素进行排序。需要注意的是不能保证同优先级元素的顺序。
4.1.14.6. DelayQueue(缓存失效、定时任务 )
是一个支持延时获取元素的无界阻塞队列。队列使用PriorityQueue来实现。队列中的元素必须实
现 Delayed 接口,在创建元素时可以指定多久才能从队列中获取当前元素。只有在延迟期满时才
能从队列中提取元素。我们可以将 DelayQueue 运用在以下应用场景:
1. 缓存系统的设计:可以用 DelayQueue 保存缓存元素的有效期,使用一个线程循环查询
DelayQueue,一旦能从 DelayQueue 中获取元素时,表示缓存有效期到了。

2. 定时任务调度:使用 DelayQueue 保存当天将会执行的任务和执行时间,一旦从
DelayQueue 中获取到任务就开始执行,从比如 TimerQueue 就是使用 DelayQueue 实现的。
4.1.14.7. SynchronousQueue(不存储数据、可用于传递数据)
是一个不存储元素的阻塞队列。每一个 put 操作必须等待一个 take 操作,否则不能继续添加元素。
SynchronousQueue 可以看成是一个传球手,负责把生产者线程处理的数据直接传递给消费者线
程。队列本身并不存储任何元素,非常适合于传递性场景,比如在一个线程中使用的数据,传递给
另 外 一 个 线 程 使 用 , SynchronousQueue 的 吞 吐 量 高 于 LinkedBlockingQueue 和
ArrayBlockingQueue。
4.1.14.8. LinkedTransferQueue
是 一 个 由 链 表 结 构 组 成 的 无 界 阻 塞 TransferQueue 队 列 。 相 对 于 其 他 阻 塞 队 列 ,
LinkedTransferQueue 多了 tryTransfer 和 transfer 方法。
1. transfer 方法:如果当前有消费者正在等待接收元素(消费者使用 take()方法或带时间限制的
poll()方法时),transfer 方法可以把生产者传入的元素立刻 transfer(传输)给消费者。如
果没有消费者在等待接收元素,transfer 方法会将元素存放在队列的 tail 节点,并等到该元素
被消费者消费了才返回。
2. tryTransfer 方法。则是用来试探下生产者传入的元素是否能直接传给消费者。如果没有消费
者等待接收元素,则返回 false。和 transfer 方法的区别是 tryTransfer 方法无论消费者是否
接收,方法立即返回。而 transfer 方法是必须等到消费者消费了才返回。
对于带有时间限制的 tryTransfer(E e, long timeout, TimeUnit unit)方法,则是试图把生产者传
入的元素直接传给消费者,但是如果没有消费者消费该元素则等待指定的时间再返回,如果超时
还没消费元素,则返回 false,如果在超时时间内消费了元素,则返回 true。
4.1.14.9. LinkedBlockingDeque
是一个由链表结构组成的双向阻塞队列。所谓双向队列指的你可以从队列的两端插入和移出元素。
双端队列因为多了一个操作队列的入口,在多线程同时入队时,也就减少了一半的竞争。相比其
他的阻塞队列,LinkedBlockingDeque 多了 addFirst,addLast,offerFirst,offerLast,
peekFirst,peekLast 等方法,以 First 单词结尾的方法,表示插入,获取(peek)或移除双端队
列的第一个元素。以 Last 单词结尾的方法,表示插入,获取或移除双端队列的最后一个元素。另
外插入方法 add 等同于 addLast,移除方法 remove 等效于 removeFirst。但是 take 方法却等同
于 takeFirst,不知道是不是 Jdk 的 bug,使用时还是用带有 First 和 Last 后缀的方法更清楚。
在初始化 LinkedBlockingDeque 时可以设置容量防止其过渡膨胀。另外双向阻塞队列可以运用在
“工作窃取”模式中。

 

【Java线程】锁机制:synchronized、Lock、Condition

【Java线程】锁机制:synchronized、Lock、Condition_Alpha's 学习笔记-CSDN博客_java线程锁

http://www.infoq.com/cn/articles/java-memory-model-5  深入理解Java内存模型(五)——锁
http://www.ibm.com/developerworks/cn/java/j-jtp10264/  Java 理论与实践: JDK 5.0 中更灵活、更具可伸缩性的锁定机制
http://blog.csdn.net/ghsau/article/details/7481142
1、synchronized
把代码块声明为 synchronized,有两个重要后果,通常是指该代码具有 原子性(atomicity)和 可见性(visibility)。

1.1 原子性
原子性意味着个时刻,只有一个线程能够执行一段代码,这段代码通过一个monitor object保护。从而防止多个线程在更新共享状态时相互冲突。


1.2 可见性
可见性则更为微妙,它要对付内存缓存和编译器优化的各种反常行为。它必须确保释放锁之前对共享数据做出的更改对于随后获得该锁的另一个线程是可见的 。

作用:如果没有同步机制提供的这种可见性保证,线程看到的共享变量可能是修改前的值或不一致的值,这将引发许多严重问题。
原理:当对象获取锁时,它首先使自己的高速缓存无效,这样就可以保证直接从主内存中装入变量。 同样,在对象释放锁之前,它会刷新其高速缓存,强制使已做的任何更改都出现在主内存中。 这样,会保证在同一个锁上同步的两个线程看到在 synchronized 块内修改的变量的相同值。


一般来说,线程以某种不必让其他线程立即可以看到的方式(不管这些线程在寄存器中、在处理器特定的缓存中,还是通过指令重排或者其他编译器优化),不受缓存变量值的约束,但是如果开发人员使用了同步,那么运行库将确保某一线程对变量所做的更新先于对现有synchronized 块所进行的更新,当进入由同一监控器(lock)保护的另一个synchronized 块时,将立刻可以看到这些对变量所做的更新。类似的规则也存在于volatile变量上。

——volatile只保证可见性,不保证原子性!


1.3 何时要同步?
可见性同步的基本规则是在以下情况中必须同步:
读取上一次可能是由另一个线程写入的变量
写入下一次可能由另一个线程读取的变量
一致性同步:当修改多个相关值时,您想要其它线程原子地看到这组更改—— 要么看到全部更改,要么什么也看不到。

这适用于相关数据项(如粒子的位置和速率)和元数据项(如链表中包含的数据值和列表自身中的数据项的链)。


在某些情况中,您不必用同步来将数据从一个线程传递到另一个,因为 JVM 已经隐含地为您执行同步。这些情况包括:

由静态初始化器(在静态字段上或 static{} 块中的初始化器)
初始化数据时
访问 final 字段时 ——final对象呢?
在创建线程之前创建对象时
线程可以看见它将要处理的对象时

1.4 synchronize的限制
synchronized是不错,但它并不完美。它有一些功能性的限制:

它无法中断一个正在等候获得锁的线程;
也无法通过投票得到锁,如果不想等下去,也就没法得到锁;
同步还要求锁的释放只能在与获得锁所在的堆栈帧相同的堆栈帧中进行,多数情况下,这没问题(而且与异常处理交互得很好),但是,确实存在一些非块结构的锁定更合适的情况。

2、ReentrantLock
java.util.concurrent.lock 中的Lock 框架是锁定的一个抽象,它允许把锁定的实现作为 Java 类,而不是作为语言的特性来实现。这就为Lock 的多种实现留下了空间,各种实现可能有不同的调度算法、性能特性或者锁定语义。

ReentrantLock 类实现了Lock ,它拥有与synchronized 相同的并发性和内存语义,但是添加了类似锁投票、定时锁等候和可中断锁等候的一些特性。此外,它还提供了在激烈争用情况下更佳的性能。(换句话说,当许多线程都想访问共享资源时,JVM 可以花更少的时候来调度线程,把更多时间用在执行线程上。)

class Outputter1 {  
    private Lock lock = new ReentrantLock();// 锁对象  
 
    public void output(String name) {         
        lock.lock();      // 得到锁  
 
        try {  
            for(int i = 0; i < name.length(); i++) {  
                System.out.print(name.charAt(i));  
            }  
        } finally {  
            lock.unlock();// 释放锁  
        }  
    }  
}  

区别:

需要注意的是,用sychronized修饰的方法或者语句块在代码执行完之后锁自动释放,而是用Lock需要我们手动释放锁,所以为了保证锁最终被释放(发生异常情况),要把互斥区放在try内,释放锁放在finally内!!

3、读写锁ReadWriteLock
上例中展示的是和synchronized相同的功能,那Lock的优势在哪里?
例如一个类对其内部共享数据data提供了get()和set()方法,如果用synchronized,则代码如下:

class syncData {      
    private int data;// 共享数据      
    public synchronized void set(int data) {  
        System.out.println(Thread.currentThread().getName() + "准备写入数据");  
        try {  
            Thread.sleep(20);  
        } catch (InterruptedException e) {  
            e.printStackTrace();  
        }  
        this.data = data;  
        System.out.println(Thread.currentThread().getName() + "写入" + this.data);  
    }     
    public synchronized  void get() {  
        System.out.println(Thread.currentThread().getName() + "准备读取数据");  
        try {  
            Thread.sleep(20);  
        } catch (InterruptedException e) {  
            e.printStackTrace();  
        }  
        System.out.println(Thread.currentThread().getName() + "读取" + this.data);  
    }  
}  

然后写个测试类来用多个线程分别读写这个共享数据:
public static void main(String[] args) {  
//        final Data data = new Data();  
          final syncData data = new syncData();  
//        final RwLockData data = new RwLockData();  
        
        //写入
        for (int i = 0; i < 3; i++) {  
            Thread t = new Thread(new Runnable() {  
                @Override
        public void run() {  
                    for (int j = 0; j < 5; j++) {  
                        data.set(new Random().nextInt(30));  
                    }  
                }  
            });
            t.setName("Thread-W" + i);
            t.start();
        }  
        //读取
        for (int i = 0; i < 3; i++) {  
            Thread t = new Thread(new Runnable() {  
                @Override
        public void run() {  
                    for (int j = 0; j < 5; j++) {  
                        data.get();  
                    }  
                }  
            });  
            t.setName("Thread-R" + i);
            t.start();
        }  
    }  

运行结果:
Thread-W0准备写入数据
Thread-W0写入0
Thread-W0准备写入数据
Thread-W0写入1
Thread-R1准备读取数据
Thread-R1读取1
Thread-R1准备读取数据
Thread-R1读取1
Thread-R1准备读取数据
Thread-R1读取1
Thread-R1准备读取数据
Thread-R1读取1
Thread-R1准备读取数据
Thread-R1读取1
Thread-R2准备读取数据
Thread-R2读取1
Thread-R2准备读取数据
Thread-R2读取1
Thread-R2准备读取数据
Thread-R2读取1
Thread-R2准备读取数据
Thread-R2读取1
Thread-R2准备读取数据
Thread-R2读取1
Thread-R0准备读取数据 //R0和R2可以同时读取,不应该互斥!
Thread-R0读取1
Thread-R0准备读取数据
Thread-R0读取1
Thread-R0准备读取数据
Thread-R0读取1
Thread-R0准备读取数据
Thread-R0读取1
Thread-R0准备读取数据
Thread-R0读取1
Thread-W1准备写入数据
Thread-W1写入18
Thread-W1准备写入数据
Thread-W1写入16
Thread-W1准备写入数据
Thread-W1写入19
Thread-W1准备写入数据
Thread-W1写入21
Thread-W1准备写入数据
Thread-W1写入4
Thread-W2准备写入数据
Thread-W2写入10
Thread-W2准备写入数据
Thread-W2写入4
Thread-W2准备写入数据
Thread-W2写入1
Thread-W2准备写入数据
Thread-W2写入14
Thread-W2准备写入数据
Thread-W2写入2
Thread-W0准备写入数据
Thread-W0写入4
Thread-W0准备写入数据
Thread-W0写入20
Thread-W0准备写入数据
Thread-W0写入29

现在一切都看起来很好!各个线程互不干扰!等等。。读取线程和写入线程互不干扰是正常的,但是两个读取线程是否需要互不干扰??
对!读取线程不应该互斥!

我们可以用读写锁ReadWriteLock实现:

import java.util.concurrent.locks.ReadWriteLock;
import java.util.concurrent.locks.ReentrantReadWriteLock;

    class Data {      
        private int data;// 共享数据  
        private ReadWriteLock rwl = new ReentrantReadWriteLock();     
        public void set(int data) {  
            rwl.writeLock().lock();// 取到写锁  
            try {  
                System.out.println(Thread.currentThread().getName() + "准备写入数据");  
                try {  
                    Thread.sleep(20);  
                } catch (InterruptedException e) {  
                    e.printStackTrace();  
                }  
                this.data = data;  
                System.out.println(Thread.currentThread().getName() + "写入" + this.data);  
            } finally {  
                rwl.writeLock().unlock();// 释放写锁  
            }  
        }     
 
        public void get() {  
            rwl.readLock().lock();// 取到读锁  
            try {  
                System.out.println(Thread.currentThread().getName() + "准备读取数据");  
                try {  
                    Thread.sleep(20);  
                } catch (InterruptedException e) {  
                    e.printStackTrace();  
                }  
                System.out.println(Thread.currentThread().getName() + "读取" + this.data);  
            } finally {  
                rwl.readLock().unlock();// 释放读锁  
            }  
        }  
    }  
测试结果:

Thread-W1准备写入数据
Thread-W1写入9
Thread-W1准备写入数据
Thread-W1写入24
Thread-W1准备写入数据
Thread-W1写入12
Thread-W0准备写入数据
Thread-W0写入22
Thread-W0准备写入数据
Thread-W0写入15
Thread-W0准备写入数据
Thread-W0写入6
Thread-W0准备写入数据
Thread-W0写入13
Thread-W0准备写入数据
Thread-W0写入0
Thread-W2准备写入数据
Thread-W2写入23
Thread-W2准备写入数据
Thread-W2写入24
Thread-W2准备写入数据
Thread-W2写入24
Thread-W2准备写入数据
Thread-W2写入17
Thread-W2准备写入数据
Thread-W2写入11
Thread-R2准备读取数据
Thread-R1准备读取数据
Thread-R0准备读取数据
Thread-R0读取11
Thread-R1读取11
Thread-R2读取11
Thread-W1准备写入数据
Thread-W1写入18
Thread-W1准备写入数据
Thread-W1写入1
Thread-R0准备读取数据
Thread-R2准备读取数据
Thread-R1准备读取数据
Thread-R2读取1
Thread-R2准备读取数据
Thread-R1读取1
Thread-R0读取1
Thread-R1准备读取数据
Thread-R0准备读取数据
Thread-R0读取1
Thread-R2读取1
Thread-R2准备读取数据
Thread-R1读取1
Thread-R0准备读取数据
Thread-R1准备读取数据
Thread-R0读取1
Thread-R2读取1
Thread-R1读取1
Thread-R0准备读取数据
Thread-R1准备读取数据
Thread-R2准备读取数据
Thread-R1读取1
Thread-R2读取1
Thread-R0读取1

与互斥锁定相比,读-写锁定允许对共享数据进行更高级别的并发访问。虽然一次只有一个线程(writer 线程)可以修改共享数据,但在许多情况下,任何数量的线程可以同时读取共享数据(reader 线程)


从理论上讲,与互斥锁定相比,使用读-写锁定所允许的并发性增强将带来更大的性能提高。

在实践中,只有在多处理器上并且只在访问模式适用于共享数据时,才能完全实现并发性增强。——例如,某个最初用数据填充并且之后不经常对其进行修改的 collection,因为经常对其进行搜索(比如搜索某种目录),所以这样的 collection 是使用读-写锁定的理想候选者。


4、线程间通信Condition
Condition可以替代传统的线程间通信,用await()替换wait(),用signal()替换notify(),用signalAll()替换notifyAll()。

——为什么方法名不直接叫wait()/notify()/nofityAll()?因为Object的这几个方法是final的,不可重写!

传统线程的通信方式,Condition都可以实现。

注意,Condition是被绑定到Lock上的,要创建一个Lock的Condition必须用newCondition()方法。


Condition的强大之处在于它可以为多个线程间建立不同的Condition
看JDK文档中的一个例子:假定有一个绑定的缓冲区,它支持 put 和 take 方法。如果试图在空的缓冲区上执行 take 操作,则在某一个项变得可用之前,线程将一直阻塞;如果试图在满的缓冲区上执行 put 操作,则在有空间变得可用之前,线程将一直阻塞。我们喜欢在单独的等待 set 中保存put 线程和take 线程,这样就可以在缓冲区中的项或空间变得可用时利用最佳规划,一次只通知一个线程。可以使用两个Condition 实例来做到这一点。
——其实就是java.util.concurrent.ArrayBlockingQueue的功能


 class BoundedBuffer {
   final Lock lock = new ReentrantLock();          //锁对象
   final Condition notFull  = lock.newCondition(); //写线程锁
   final Condition notEmpty = lock.newCondition(); //读线程锁
 
   final Object[] items = new Object[100];//缓存队列
   int putptr;  //写索引
   int takeptr; //读索引
   int count;   //队列中数据数目
 
   //写
   public void put(Object x) throws InterruptedException {
     lock.lock(); //锁定
     try {
       // 如果队列满,则阻塞<写线程>
       while (count == items.length) {
         notFull.await(); 
       }
       // 写入队列,并更新写索引
       items[putptr] = x; 
       if (++putptr == items.length) putptr = 0; 
       ++count;
 
       // 唤醒<读线程>
       notEmpty.signal(); 
     } finally { 
       lock.unlock();//解除锁定 
     } 
   }
 
   //读 
   public Object take() throws InterruptedException { 
     lock.lock(); //锁定 
     try {
       // 如果队列空,则阻塞<读线程>
       while (count == 0) {
          notEmpty.await();
       }
 
       //读取队列,并更新读索引
       Object x = items[takeptr]; 
       if (++takeptr == items.length) takeptr = 0;
       --count;
 
       // 唤醒<写线程>
       notFull.signal(); 
       return x; 
     } finally { 
       lock.unlock();//解除锁定 
     } 
   } 
}


优点:

假设缓存队列中已经存满,那么阻塞的肯定是写线程,唤醒的肯定是读线程,相反,阻塞的肯定是读线程,唤醒的肯定是写线程。

那么假设只有一个Condition会有什么效果呢?缓存队列中已经存满,这个Lock不知道唤醒的是读线程还是写线程了,如果唤醒的是读线程,皆大欢喜,如果唤醒的是写线程,那么线程刚被唤醒,又被阻塞了,这时又去唤醒,这样就浪费了很多时间。

彻底理解volatile

详情请戳www.codercc.com

1. volatile简介

在上一篇文章中我们深入理解了java关键字synchronized,我们知道在java中还有一大神器就是关键volatile,可以说是和synchronized各领风骚,其中奥妙,我们来共同探讨下。

通过上一篇的文章我们了解到synchronized是阻塞式同步,在线程竞争激烈的情况下会升级为重量级锁。而volatile就可以说是java虚拟机提供的最轻量级的同步机制。但它同时不容易被正确理解,也至于在并发编程中很多程序员遇到线程安全的问题就会使用synchronized。Java内存模型告诉我们,各个线程会将共享变量从主内存中拷贝到工作内存,然后执行引擎会基于工作内存中的数据进行操作处理。线程在工作内存进行操作后何时会写到主内存中?这个时机对普通变量是没有规定的,而针对volatile修饰的变量给java虚拟机特殊的约定,线程对volatile变量的修改会立刻被其他线程所感知,即不会出现数据脏读的现象,从而保证数据的“可见性”。

现在我们有了一个大概的印象就是:被volatile修饰的变量能够保证每个线程能够获取该变量的最新值,从而避免出现数据脏读的现象。

2. volatile实现原理

volatile是怎样实现了?比如一个很简单的Java代码:

instance = new Instancce() //instance是volatile变量

在生成汇编代码时会在volatile修饰的共享变量进行写操作的时候会多出Lock前缀的指令(具体的大家可以使用一些工具去看一下,这里我就只把结果说出来)。我们想这个Lock指令肯定有神奇的地方,那么Lock前缀的指令在多核处理器下会发现什么事情了?主要有这两个方面的影响:

  1. 将当前处理器缓存行的数据写回系统内存;
  2. 这个写回内存的操作会使得其他CPU里缓存了该内存地址的数据无效

为了提高处理速度,处理器不直接和内存进行通信,而是先将系统内存的数据读到内部缓存(L1,L2或其他)后再进行操作,但操作完不知道何时会写到内存。如果对声明了volatile的变量进行写操作,JVM就会向处理器发送一条Lock前缀的指令,将这个变量所在缓存行的数据写回到系统内存。但是,就算写回到内存,如果其他处理器缓存的值还是旧的,再执行计算操作就会有问题。所以,在多处理器下,为了保证各个处理器的缓存是一致的,就会实现缓存一致性协议,每个处理器通过嗅探在总线上传播的数据来检查自己缓存的值是不是过期了,当处理器发现自己缓存行对应的内存地址被修改,就会将当前处理器的缓存行设置成无效状态,当处理器对这个数据进行修改操作的时候,会重新从系统内存中把数据读到处理器缓存里。因此,经过分析我们可以得出如下结论:

  1. Lock前缀的指令会引起处理器缓存写回内存;
  2. 一个处理器的缓存回写到内存会导致其他处理器的缓存失效;
  3. 当处理器发现本地缓存失效后,就会从内存中重读该变量数据,即可以获取当前最新值。

这样针对volatile变量通过这样的机制就使得每个线程都能获得该变量的最新值。

3. volatile的happens-before关系

经过上面的分析,我们已经知道了volatile变量可以通过缓存一致性协议保证每个线程都能获得最新值,即满足数据的“可见性”。我们继续延续上一篇分析问题的方式(我一直认为思考问题的方式是属于自己,也才是最重要的,也在不断培养这方面的能力),我一直将并发分析的切入点分为两个核心,三大性质。两大核心:JMM内存模型(主内存和工作内存)以及happens-before;三条性质:原子性,可见性,有序性(关于三大性质的总结在以后得文章会和大家共同探讨)。废话不多说,先来看两个核心之一:volatile的happens-before关系。

在六条happens-before规则中有一条是:**volatile变量规则:对一个volatile域的写,happens-before于任意后续对这个volatile域的读。**下面我们结合具体的代码,我们利用这条规则推导下:

public class VolatileExample {
    private int a = 0;
    private volatile boolean flag = false;
    public void writer(){
        a = 1;          //1
        flag = true;   //2
    }
    public void reader(){
        if(flag){      //3
            int i = a; //4
        }
    }
}
复制代码

上面的实例代码对应的happens-before关系如下图所示:

 

VolatileExample的happens-before关系推导

 

加锁线程A先执行writer方法,然后线程B执行reader方法图中每一个箭头两个节点就代码一个happens-before关系,黑色的代表根据程序顺序规则推导出来,红色的是根据volatile变量的写happens-before 于任意后续对volatile变量的读,而蓝色的就是根据传递性规则推导出来的。这里的2 happen-before 3,同样根据happens-before规则定义:如果A happens-before B,则A的执行结果对B可见,并且A的执行顺序先于B的执行顺序,我们可以知道操作2执行结果对操作3来说是可见的,也就是说当线程A将volatile变量 flag更改为true后线程B就能够迅速感知。

4. volatile的内存语义

还是按照两个核心的分析方式,分析完happens-before关系后我们现在就来进一步分析volatile的内存语义(按照这种方式去学习,会不会让大家对知识能够把握的更深,而不至于不知所措,如果大家认同我的这种方式,不妨给个赞,小弟在此谢过,对我是个鼓励)。还是以上面的代码为例,假设线程A先执行writer方法,线程B随后执行reader方法,初始时线程的本地内存中flag和a都是初始状态,下图是线程A执行volatile写后的状态图。

 

线程A执行volatile写后的内存状态图

 

当volatile变量写后,线程中本地内存中共享变量就会置为失效的状态,因此线程B再需要读取从主内存中去读取该变量的最新值。下图就展示了线程B读取同一个volatile变量的内存变化示意图。

 

线程B读volatile后的内存状态图

 

从横向来看,线程A和线程B之间进行了一次通信,线程A在写volatile变量时,实际上就像是给B发送了一个消息告诉线程B你现在的值都是旧的了,然后线程B读这个volatile变量时就像是接收了线程A刚刚发送的消息。既然是旧的了,那线程B该怎么办了?自然而然就只能去主内存去取啦。

好的,我们现在两个核心:happens-before以及内存语义现在已经都了解清楚了。是不是还不过瘾,突然发现原来自己会这么爱学习(微笑脸),那我们下面就再来一点干货----volatile内存语义的实现。

4.1 volatile的内存语义实现

我们都知道,为了性能优化,JMM在不改变正确语义的前提下,会允许编译器和处理器对指令序列进行重排序,那如果想阻止重排序要怎么办了?答案是可以添加内存屏障。

内存屏障

JMM内存屏障分为四类见下图,

 

内存屏障分类表

 

java编译器会在生成指令系列时在适当的位置会插入内存屏障指令来禁止特定类型的处理器重排序。为了实现volatile的内存语义,JMM会限制特定类型的编译器和处理器重排序,JMM会针对编译器制定volatile重排序规则表:

 

volatile重排序规则表

 

"NO"表示禁止重排序。为了实现volatile内存语义时,编译器在生成字节码时,会在指令序列中插入内存屏障来禁止特定类型的处理器重排序。对于编译器来说,发现一个最优布置来最小化插入屏障的总数几乎是不可能的,为此,JMM采取了保守策略:

  1. 在每个volatile写操作的前面插入一个StoreStore屏障;
  2. 在每个volatile写操作的后面插入一个StoreLoad屏障;
  3. 在每个volatile读操作的后面插入一个LoadLoad屏障;
  4. 在每个volatile读操作的后面插入一个LoadStore屏障。

需要注意的是:volatile写是在前面和后面分别插入内存屏障,而volatile读操作是在后面插入两个内存屏障

StoreStore屏障:禁止上面的普通写和下面的volatile写重排序;

StoreLoad屏障:防止上面的volatile写与下面可能有的volatile读/写重排序

LoadLoad屏障:禁止下面所有的普通读操作和上面的volatile读重排序

LoadStore屏障:禁止下面所有的普通写操作和上面的volatile读重排序

下面以两个示意图进行理解,图片摘自相当好的一本书《java并发编程的艺术》。

 

volatile写插入内存屏障示意图

 

 

volatile读插入内存屏障示意图

 

5. 一个示例

我们现在已经理解volatile的精华了,文章开头的那个问题我想现在我们都能给出答案了。更正后的代码为:

public class VolatileDemo {
    private static volatile boolean isOver = false;

    public static void main(String[] args) {
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                while (!isOver) ;
            }
        });
        thread.start();
        try {
            Thread.sleep(500);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        isOver = true;
    }
}

注意不同点,现在已经将isOver设置成了volatile变量,这样在main线程中将isOver改为了true后,thread的工作内存该变量值就会失效,从而需要再次从主内存中读取该值,现在能够读出isOver最新值为true从而能够结束在thread里的死循环,从而能够顺利停止掉thread线程。现在问题也解决了,知识也学到了:)。(如果觉得还不错,请点赞,是对我的一个鼓励。)

参考文献

《java并发编程的艺术》

介绍new Thread的弊端及Java四种线程池的使用,对Android同样适用,本文是基础篇。

转载请标注原地址http://blog.csdn.net/u011974987/article/details/51027795


1、new Thread的弊端

执行一个异步任务你还只是如下new Thread吗?


new Thread(new Runnable() {

    @Override
    public void run() {
        // TODO Auto-generated method stub
        }
    }
).start();

那你就out太多了,new Thread的弊端如下:

a. 每次new Thread新建对象性能差。
b. 线程缺乏统一管理,可能无限制新建线程,相互之间竞争,及可能占用过多系统资源导致死机或oom。
c. 缺乏更多功能,如定时执行、定期执行、线程中断。

相比new Thread,Java提供的四种线程池的好处在于:

a. 重用存在的线程,减少对象创建、消亡的开销,性能佳。
b. 可有效控制最大并发线程数,提高系统资源的使用率,同时避免过多资源竞争,避免堵塞。
c. 提供定时执行、定期执行、单线程、并发数控制等功能。

2、Java 线程池

Java通过Executors提供四种线程池,分别为:

  • newCachedThreadPool创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。
  • newFixedThreadPool 创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。
  • newScheduledThreadPool 创建一个定长线程池,支持定时及周期性任务执行。
  • newSingleThreadExecutor 创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。

(1)newCachedThreadPool:

创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。示例代码如下:

ExecutorService cachedThreadPool = Executors.newCachedThreadPool();
    for (int i = 0; i < 10; i++) {
        final int index = i;
    try {
        Thread.sleep(index * 1000);
    } 
        catch (InterruptedException e) {
            e.printStackTrace();
    }

cachedThreadPool.execute(new Runnable() {

@Override
public void run() {
    System.out.println(index);
}
});
}

线程池为无限大,当执行第二个任务时第一个任务已经完成,会复用执行第一个任务的线程,而不用每次新建线程。

(2)newFixedThreadPool:

创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。示例代码如下:

ExecutorService fixedThreadPool = Executors.newFixedThreadPool(3);
    for (int i = 0; i < 10; i++) {
    final int index = i;

    fixedThreadPool.execute(new Runnable() {

@Override
public void run() {
try {
    System.out.println(index);
    Thread.sleep(2000);
} catch (InterruptedException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
    }
}
});
}

因为线程池大小为3,每个任务输出index后sleep 2秒,所以每两秒打印3个数字。

定长线程池的大小最好根据系统资源进行设置。如Runtime.getRuntime().availableProcessors()。可参考PreloadDataCache。

(3)newScheduledThreadPool:

创建一个定长线程池,支持定时及周期性任务执行。延迟执行示例代码如下:

ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(5);
 scheduledThreadPool.schedule(new Runnable() {

@Override
public void run() {
    System.out.println("delay 3 seconds");
}
}, 3, TimeUnit.SECONDS);

表示延迟3秒执行。

定期执行示例代码如下:


scheduledThreadPool.scheduleAtFixedRate(new Runnable() {

@Override
public void run() {
    System.out.println("delay 1 seconds, and excute every 3 seconds");
}
}, 1, 3, TimeUnit.SECONDS);

表示延迟1秒后每3秒执行一次。

ScheduledExecutorService比Timer更安全,功能更强大

(4)newSingleThreadExecutor:

创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。示例代码如下:

ExecutorService singleThreadExecutor = Executors.newSingleThreadExecutor();
for (int i = 0; i < 10; i++) {
final int index = i;
singleThreadExecutor.execute(new Runnable() {

@Override
public void run() {
    try {
        System.out.println(index);
    Thread.sleep(2000);
} catch (InterruptedException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
        }
}
    });
}

结果依次输出,相当于顺序执行各个任务。

现行大多数GUI程序都是单线程的。Android中单线程可用于数据库操作,文件操作,应用批量安装,应用批量删除等不适合并发但可能IO阻塞性及影响UI线程响应的操作。

线程池的作用:

线程池作用就是限制系统中执行线程的数量。
根 据系统的环境情况,可以自动或手动设置线程数量,达到运行的最佳效果;少了浪费了系统资源,多了造成系统拥挤效率不高。用线程池控制线程数量,其他线程排 队等候。一个任务执行完毕,再从队列的中取最前面的任务开始执行。若队列中没有等待进程,线程池的这一资源处于等待。当一个新任务需要运行时,如果线程池 中有等待的工作线程,就可以开始运行了;否则进入等待队列。

为什么要用线程池:

1.减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务。

2.可以根据系统的承受能力,调整线程池中工作线线程的数目,防止因为消耗过多的内存,而把服务器累趴下(每个线程需要大约1MB内存,线程开的越多,消耗的内存也就越大,最后死机)。

Java里面线程池的顶级接口是Executor,但是严格意义上讲Executor并不是一个线程池,而只是一个执行线程的工具。真正的线程池接口是ExecutorService。

比较重要的几个类:

ExecutorService: 真正的线程池接口。

ScheduledExecutorService: 能和Timer/TimerTask类似,解决那些需要任务重复执行的问题。

ThreadPoolExecutor: ExecutorService的默认实现。

ScheduledThreadPoolExecutor: 继承ThreadPoolExecutor的ScheduledExecutorService接口实现,周期性任务调度的类实现。

要配置一个线程池是比较复杂的,尤其是对于线程池的原理不是很清楚的情况下,很有可能配置的线程池不是较优的,因此在Executors类里面提供了一些静态工厂,生成一些常用的线程池。

1.newSingleThreadExecutor

创建一个单线程的线程池。这个线程池只有一个线程在工作,也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束,那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。

2.newFixedThreadPool

创建固定大小的线程池。每次提交一个任务就创建一个线程,直到线程达到线程池的最大大小。线程池的大小一旦达到最大值就会保持不变,如果某个线程因为执行异常而结束,那么线程池会补充一个新线程。

3.newCachedThreadPool

创建一个可缓存的线程池。如果线程池的大小超过了处理任务所需要的线程,

那么就会回收部分空闲(60秒不执行任务)的线程,当任务数增加时,此线程池又可以智能的添加新线程来处理任务。此线程池不会对线程池大小做限制,线程池大小完全依赖于操作系统(或者说JVM)能够创建的最大线程大小。

4.newScheduledThreadPool

创建一个大小无限的线程池。此线程池支持定时以及周期性执行任务的需求。

实例代码

一、固定大小的线程池,newFixedThreadPool:

package app.executors;  

import java.util.concurrent.Executors;  
import java.util.concurrent.ExecutorService;  

/** 
 * Java线程:线程池 
 *  
 * @author xiho
 */  
public class Test {  
    public static void main(String[] args) {  
        // 创建一个可重用固定线程数的线程池  
        ExecutorService pool = Executors.newFixedThreadPool(2);  
        // 创建线程  
        Thread t1 = new MyThread();  
        Thread t2 = new MyThread();  
        Thread t3 = new MyThread();  
        Thread t4 = new MyThread();  
        Thread t5 = new MyThread();  
        // 将线程放入池中进行执行  
        pool.execute(t1);  
        pool.execute(t2);  
        pool.execute(t3);  
        pool.execute(t4);  
        pool.execute(t5);  
        // 关闭线程池  
        pool.shutdown();  
    }  
}  

class MyThread extends Thread {  
    @Override  
    public void run() {  
        System.out.println(Thread.currentThread().getName() + "正在执行。。。");  
    }  
}  

输出结果:

pool-1-thread-1正在执行。。。  
pool-1-thread-3正在执行。。。  
pool-1-thread-4正在执行。。。  
pool-1-thread-2正在执行。。。  
pool-1-thread-5正在执行。。。  

改变ExecutorService pool = Executors.newFixedThreadPool(5)中的参数:ExecutorService pool = Executors.newFixedThreadPool(2),输出结果是:

pool-1-thread-1正在执行。。。  
pool-1-thread-1正在执行。。。  
pool-1-thread-2正在执行。。。  
pool-1-thread-1正在执行。。。  
pool-1-thread-2正在执行。。。  

从以上结果可以看出,newFixedThreadPool的参数指定了可以运行的线程的最大数目,超过这个数目的线程加进去以后,不会运行。其次,加入线程池的线程属于托管状态,线程的运行不受加入顺序的影响。

二、单任务线程池,newSingleThreadExecutor:

仅仅是把上述代码中的ExecutorService pool = Executors.newFixedThreadPool(2)改为ExecutorService pool = Executors.newSingleThreadExecutor();
输出结果:

pool-1-thread-1正在执行。。。  
pool-1-thread-1正在执行。。。  
pool-1-thread-1正在执行。。。  
pool-1-thread-1正在执行。。。  
pool-1-thread-1正在执行。。。  

可以看出,每次调用execute方法,其实最后都是调用了thread-1的run方法。

三、可变尺寸的线程池,newCachedThreadPool:

与上面的类似,只是改动下pool的创建方式:ExecutorService pool = Executors.newCachedThreadPool();

输出结果:

pool-1-thread-1正在执行。。。  
pool-1-thread-2正在执行。。。  
pool-1-thread-4正在执行。。。  
pool-1-thread-3正在执行。。。  
pool-1-thread-5正在执行。。。  

这种方式的特点是:可根据需要创建新线程的线程池,但是在以前构造的线程可用时将重用它们。

四、延迟连接池,newScheduledThreadPool:

public class TestScheduledThreadPoolExecutor {

    public static void main(String[] args) {

        ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);

        exec.scheduleAtFixedRate(new Runnable() {//每隔一段时间就触发异常

                      @Override

                      publicvoid run() {

                           //throw new RuntimeException();

                           System.out.println("================");

                      }

                  }, 1000, 5000, TimeUnit.MILLISECONDS);

        exec.scheduleAtFixedRate(new Runnable() {//每隔一段时间打印系统时间,证明两者是互不影响的

                      @Override

                      publicvoid run() {

                           System.out.println(System.nanoTime());

                      }

                  }, 1000, 2000, TimeUnit.MILLISECONDS);

    }

}

输出结果:

================

8384644549516

8386643829034

8388643830710

================

8390643851383

8392643879319

8400643939383

什么是线程池?
为了避免频繁重复的创建和销毁线程,我们可以让这些线程进行复用,在线程池中,总会有活跃的线程在占用,但是线程池中也会存在没有占用的线程,这些线程处于空闲状态,当有任务的时候会从池子里面拿去一个线程来进行使用,当完成工作后,并没有销毁线程,而是将将线程放回到池子中去。

线程池主要解决两个问题:
一是当执行大量异步任务时线程池能够提供很好的性能。
二是线程池提供了一种资源限制和管理的手段,比如可以限制现成的个数,动态新增线程等。
​ -《Java并发编程之美》

上面内容出自《Java并发编程之美》这本书,第一个问题上面已经提到过,线程的频繁创建和销毁是很损耗性能的,但是线程池中的线程是可以复用的,可以较好的提升性能问题,线程池内部是采用了阻塞队列来维护Runnable对象。

(想自学习编程的小伙伴请搜索圈T社区,更多行业相关资讯更有行业相关免费视频教程。完全免费哦!)

原理分析
JDK为我们封装了一套操作多线程的框架Executors,帮助我们可以更好的控制线程池,Executors下提供了一些线程池的工厂方法:

newFixedThreadPool:返回固定长度的线程池,线程池中的线程数量是固定的。
newCacheThreadPool:该方法返回一个根据实际情况来进行调整线程数量的线程池,空余线程存活时间是60s
newSingleThreadExecutor:该方法返回一个只有一个线程的线程池。
newSingleThreadScheduledExecutor:该方法返回一个SchemeExecutorService对象,线程池大小为1,SchemeExecutorService接口在ThreadPoolExecutor类和 ExecutorService接口之上的扩展,在给定时间执行某任务。
newSchemeThreadPool:该方法返回一个SchemeExecutorService对象,可指定线程池线程数量。
对于核心的线程池来说,它内部都是使用了ThreadPoolExecutor对象来实现的,只不过内部参数信息不一样,我们先来看两个例子:nexFixedThreadPool和newSingleThreadExecutor如下所示:

public static ExecutorService newFixedThreadPool(int nThreads, ThreadFactory threadFactory) {
    return new ThreadPoolExecutor(nThreads, nThreads,
                                  0L, TimeUnit.MILLISECONDS,
                                  new LinkedBlockingQueue(),
                                  threadFactory);
}

public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
        (new ThreadPoolExecutor(1, 1,
                                0L, TimeUnit.MILLISECONDS,
                                new LinkedBlockingQueue()));
}
由上面的线程池的创建过程可以看到它们都是ThreadPoolExecutor的封装,接下来我们来看一下ThreadPoolExecutor的参数说明:

参数名称    参数描述
corePoolSize    指定线程池线程的数量
maximumPoolSize    指定线程池中线程的最大数量
keepAliveTime    当线程池线程的数量超过corePoolSize的时候,多余的空闲线程存活的时间,如果超过了corePoolSize,在keepAliveTime的时间之后,销毁线程
unit    keepAliveTime的单位
workQueue    工作队列,将被提交但尚未执行的任务缓存起来
threadFactory    线程工厂,用于创建线程,不指定为默认线程工厂DefaultThreadFactory
handler    拒绝策略
其中workQueue代表的是提交但未执行的队列,它是BlockingQueue接口的对象,用于存放Runable对象,主要分为以下几种类型:

直接提交的队列:SynchronousQueue队列,它是一个没有容量的队列,前面我有对其进行讲解,当线程池进行入队offer操作的时候,本身是无容量的,所以直接返回false,并没有保存下来,而是直接提交给线程来进行执行,如果没有空余的线程则执行拒绝策略。

有界的任务队列:可以使用ArrayBlockingQueue队列,因为它内部是基于数组来进行实现的,初始化时必须指定容量参数,当使用有界任务队列时,当有任务进行提交时,线程池的线程数量小于corePoolSize则创建新的线程来执行任务,当线程池的线程数量大于corePoolSize的时候,则将提交的任务放入到队列中,当提交的任务塞满队列后,如果线程池的线程数量没有超过maximumPoolSize,则创建新的线程执行任务,如果超过了maximumPoolSize则执行拒绝策略。

无界的任务队列:可以使用LinkedBlockingQueue队列,它内部是基于链表的形式,默认队列的长度是Integer.MAX_VALUE,也可以指定队列的长度,当队列满时进行阻塞操作,当然线程池中采用的是offer方法并不会阻塞线程,当队列满时则返回false,入队成功则则返回true,当使用LinkedBlockingQueue队列时,有任务提交到线程池时,如果线程池的数量小于corePoolSize,线程池会产生新的线程来执行任务,当线程池的线程数量大于corePoolSize时,则将提交的任务放入到队列中,等待执行任务的线程执行完之后进行消费队列中的任务,若后续仍有新的任务提交,而没有空闲的线程时,它会不断往队列中入队提交的任务,直到资源耗尽。

优先任务队列:t有限任务队列是带有执行优先级的队列,他可以使用PriorityBlockingQueue队列,可以控制任务的执行先后顺序,它是一个无界队列,该队列可以根据任务自身的优先级顺序先后执行,在确保性能的同时,也能有很好的质量保证。

上面讲解了关于线程池内部都是通过ThreadPoolExecutor来进行实现的,那么下面我以一个例子来进行源码分析:

public class ThreadPoolDemo1 {

    public static void main(String[] args) {
        ExecutorService executorService = new ThreadPoolExecutor(5,
                10,
                60L,
                TimeUnit.MILLISECONDS,
                new ArrayBlockingQueue<>(5), new CustomThreadFactory());
        for (int i = 0; i < 15; i++) {
            executorService.execute(() -> {
                try {
                    Thread.sleep(50000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                System.out.println("由线程:" + Thread.currentThread().getName() + "执行任务完成");
            });
        }
    }
}
上面定义了一个线程池,线程池初始化的corePoolSize为5,也就是线程池中线程的数量为5,最大线程maximumThreadPoolSize为10,空余的线程存活的时间是60s,使用LinkedBlockingQueue来作为阻塞队列,这里还发现我自定义了ThreadFactory线程池工厂,这里我真是针对线程创建的时候输出线程池的名称,源码如下所示:

/**
 * 自定义的线程池构造工厂
 */
public class CustomThreadFactory implements ThreadFactory {
    private static final AtomicInteger poolNumber = new AtomicInteger(1);
    private final ThreadGroup group;
    private final AtomicInteger threadNumber = new AtomicInteger(1);
    private final String namePrefix;

    public CustomThreadFactory() {
        SecurityManager s = System.getSecurityManager();
        group = (s != null) ? s.getThreadGroup() :
                Thread.currentThread().getThreadGroup();
        namePrefix = "pool-" +
                poolNumber.getAndIncrement() +
                "-thread-";
    }

    @Override
    public Thread newThread(Runnable r) {
        String name = namePrefix + threadNumber.getAndIncrement();
        Thread t = new Thread(group, r,
                name,
                0);
        System.out.println("线程池创建,线程名称为:" + name);
        if (t.isDaemon())
            t.setDaemon(false);
        if (t.getPriority() != Thread.NORM_PRIORITY)
            t.setPriority(Thread.NORM_PRIORITY);
        return t;
    }

}
代码和DefaultThreadFactory一样,只是在newThread新建线程的动作的时候输出了线程池的名称,方便查看线程创建的时机,上面main方法中提交了15个任务,调用了execute方法来进行提交任务,在分析execute方法之前我们先了解一下线程的状态:

//假设Integer类型是32位的二进制表示。
//高3位代表线程池的状态,低29位代表的是线程池的数量
//默认是RUNNING状态,线程池的数量为0
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
//线程个数位数,表示的Integer中除去最高的3位之后剩下的位数表示线程池的个数
private static final int COUNT_BITS = Integer.SIZE - 3;
//线程池的线程的最大数量
//这里举例是32为机器,表示为00011111111111111111111111111111
private static final int CAPACITY   = (1 << COUNT_BITS) - 1;
//线程池的状态
// runState is stored in the high-order bits
//11100000000000000000000000000000
//接受新任务并且处理阻塞队列里面任务
private static final int RUNNING    = -1 << COUNT_BITS;
//00000000000000000000000000000000
//拒绝新任务但是处理阻塞队列的任务
private static final int SHUTDOWN   =  0 << COUNT_BITS;
//00100000000000000000000000000000
//拒接新任务并且抛弃阻塞队列里面的任务,同时会中断正在处理的任务
private static final int STOP       =  1 << COUNT_BITS;
//01000000000000000000000000000000
//所有任务都执行完(包括阻塞队列中的任务)后当线程池活动线程数为0,将要调用terminated方法。
private static final int TIDYING    =  2 << COUNT_BITS;
//01100000000000000000000000000000
//终止状态,terminated方法调用完成以后的状态
private static final int TERMINATED =  3 << COUNT_BITS;
通过上面内容可以看到ctl其实存放的是线程池的状态和线程数量的变量,默认是RUNNING,也就是11100000000000000000000000000000,这里我们来假设运行的机器上的Integer的是32位的,因为有些机器上可能Integer并不是32位,下面COUNT_BITS来控制位数,也就是先获取Integer在该平台上的位数,比如说是32位,然后32位-3位=29位,也就是低29位代表的是现成的数量,高3位代表线程的状态,可以清晰看到下面的线程池的状态都是通过低位来进行向左位移的操作的,除了上面的变量,还提供了操作线程池状态的方法:

// 操作ctl变量,主要是进行分解或组合线程数量和线程池状态。
// 获取高3位,获取线程池状态
private static int runStateOf(int c)     { return c & ~CAPACITY; }
// 获取低29位,获取线程池中线程的数量
private static int workerCountOf(int c)  { return c & CAPACITY; }
// 组合ctl变量,rs=runStatue代表的是线程池的状态,wc=workCount代表的是线程池线程的数量
private static int ctlOf(int rs, int wc) { return rs | wc; }

/*
 * Bit field accessors that don't require unpacking ctl.
 * These depend on the bit layout and on workerCount being never negative.
 */
//指定的线程池状态c小于状态s
private static boolean runStateLessThan(int c, int s) {
    return c < s;
}
//指定的线程池状态c至少是状态s
private static boolean runStateAtLeast(int c, int s) {
    return c >= s;
}

// 判断线程池是否运行状态
private static boolean isRunning(int c) {
    return c < SHUTDOWN;
}

/**
 * CAS增加线程池线程数量.
 */
private boolean compareAndIncrementWorkerCount(int expect) {
    return ctl.compareAndSet(expect, expect + 1);
}

/**
 * CAS减少线程池线程数量
 */
private boolean compareAndDecrementWorkerCount(int expect) {
    return ctl.compareAndSet(expect, expect - 1);
}

/**
 * 将线程池的线程数量进行较少操作,如果竞争失败直到竞争成功为止。
 */
private void decrementWorkerCount() {
    do {} while (! compareAndDecrementWorkerCount(ctl.get()));
}
下来我们看一下ThreadPoolExecutor对象下的execute方法:

public void execute(Runnable command) {
      // 判断提交的任务是不是为空,如果为空则抛出NullPointException异常
    if (command == null)
        throw new NullPointerException();
      // 获取线程池的状态和线程池的数量
    int c = ctl.get();
      // 如果线程池的数量小于corePoolSize,则进行添加线程执行任务
    if (workerCountOf(c) < corePoolSize) {
          //添加线程修改线程数量并且将command作为第一个任务进行处理
        if (addWorker(command, true))
            return;
          // 获取最新的状态
        c = ctl.get();
    }
      // 如果线程池的状态是RUNNING,将命令添加到队列中
    if (isRunning(c) && workQueue.offer(command)) {
          //二次检查线程池状态和线程数量
        int recheck = ctl.get();
          //线程不是RUNNING状态,从队列中移除当前任务,并且执行拒绝策略。
          //这里说明一点,只有RUNNING状态的线程池才会接受新的任务,其余状态全部拒绝。
        if (! isRunning(recheck) && remove(command))
            reject(command);
          //如果线程池的线程数量为空时,代表线程池是空的,添加一个新的线程。
        else if (workerCountOf(recheck) == 0)
            addWorker(null, false);
    }
      //如果队列是满的,或者是SynchronousQueue队列时,则直接添加新的线程执行任务,如果添加失败则进行拒绝
      //可能线程池的线程数量大于maximumPoolSize则采取拒绝策略。
    else if (!addWorker(command, false))
        reject(command);
}
通过分析execute方法总结以下几点:

当线程池中线程的数量小于corePoolSize时,直接添加线程到线程池并且将当前任务做为第一个任务执行。
如果线程池的状态的是RUNNING,则可以接受任务,将任务放入到阻塞队列中,内部进行二次检查,有可能在运行下面内容时线程池状态已经发生了变化,在这个时候如果线程池状态变成不是RUNNING,则将当前任务从队列中移除,并且进行拒绝策略。
如果阻塞队列已经满了或者SynchronousQueue这种特殊队列无空间的时候,直接添加新的线程执行任务,当线程池的线程数量大于maximumPoolSize时相应拒绝策略。
入队操作用的是offer方法,该方法不会阻塞队列,如果队列已经满时或超时导致入队失败,返回false,如果入队成功返回true。
针对上面例子源码我们来做一下分析,我们源码中阻塞队列采用的是ArrayBlockingQueue队列,并且指定队列的长度是5,我们看下面提交的线程池的任务是15个,而且corePoolSize设置的是5个核心线程,最大线程数(maximumPoolSzie)是10个(包括核心线程数),假设所有任务都同时提交到了线程池中,其中有5个任务会被提交到线程中作为第一个任务进行执行,会有5个任务被添加到阻塞队列中,还有5个任务提交到到线程池中的时候发现阻塞队列已经满了,这时候会直接提交任务,发现当前线程数是5小于最大线程数,可以进行新建线程来执行任务。

在这里插入图片描述

这里我们只是假设任务全部提交,因为我们在任务中添加了Thread.sleep睡眠一会,在for循环结束提交任务之后可能才会结束掉任务的睡眠执行任务后面内容,所以可以看做是全部提交任务,但是没有任务完成,如果有任务完成的话,可能就不会是触发最大的线程数,有可能就是一个任务完成后从队列取出来,然后另一个任务来的时候可以添加到队列中,上图中可以看到,有5个核心core线程在执行任务,任务队列中有5个任务在等待空余线程执行,而还有5个正在执行的线程,核心线程是指在corePoolSize范围的线程,而非核心线程指的是大于corePoolSize但是小于等于MaximumPoolSize的线程,就是这些非核心线程并不是一直存活的线程,它会跟随线程池指定的参数来进行销毁,我们这里指定了60s后如果没有任务提交,则会进行销毁操作,当然工作线程并不指定那些线程必须回收那些线程就必须保留,是根据从队列中获取任务来决定,如果线程获取任务时发现线程池中的线程数量大于corePoolSize,并且阻塞队列中为空时,则阻塞队列会阻塞60s后如果还有没有任务就返回false,这时候会释放线程,调用processWorkerExit来处理线程的退出,接下来我们来分析下addWorker都做了什么内容:

private boolean addWorker(Runnable firstTask, boolean core) {
    retry:
    for (;;) {
      	//获取线程池的状态和线程池线程的数量
        int c = ctl.get();
      	//单独获取线程池的状态
        int rs = runStateOf(c);

        //检查队列是否只在必要时为空
        if (rs >= SHUTDOWN &&						//线程池的状态是SHUTDOWN、STOP、TIDYING、TERMINATED
            ! (rs == SHUTDOWN &&				//可以看做是rs!=SHUTDOWN,线程池状态为STOP、TIDYING、TERMINATED
               firstTask == null &&			//可以看做firstTask!=null,并且rs=SHUTDOWN
               ! workQueue.isEmpty()))	//可以看做rs=SHUTDOWN,并且workQueue.isEmpty()队列为空
            return false;
				//循环CAS增加线程池中线程的个数
        for (;;) {
          	//获取线程池中线程个数
            int wc = workerCountOf(c);
          	//如果线程池线程数量超过最大线程池数量,则直接返回
            if (wc >= CAPACITY ||
                //如果指定使用corePoolSize作为限制则使用corePoolSize,反之使用maximumPoolSize,最为工作线程最大线程线程数量,如果工作线程大于相应的线程数量则直接返回。
                wc >= (core ? corePoolSize : maximumPoolSize))
                return false;
          	//CAS增加线程池中线程的数量
            if (compareAndIncrementWorkerCount(c))
              	//跳出增加线程池数量。
                break retry;
          	//如果修改失败,则重新获取线程池的状态和线程数量
            c = ctl.get();  // Re-read ctl
          	//如果最新的线程池状态和原有县城出状态不一样时,则跳转到外层retry中,否则在内层循环重新进行CAS
            if (runStateOf(c) != rs)
                continue retry;
            // else CAS failed due to workerCount change; retry inner loop
        }
    }
		
  	//工作线程是否开始启动标志
    boolean workerStarted = false;
  	//工作线程添加到线程池成功与否标志
    boolean workerAdded = false;
    Worker w = null;
    try {
      	//创建一个Worker对象
        w = new Worker(firstTask);
      	//获取worker中的线程,这里线程是通过ThreadFactory线程工厂创建出来的,详细看下面源码信息。
        final Thread t = w.thread;
      	//判断线程是否为空
        if (t != null) {
          	//添加独占锁,为添加worker进行同步操作,防止其他线程同时进行execute方法。
            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                //获取线程池的状态
                int rs = runStateOf(ctl.get());
								//如果线程池状态为RUNNING或者是线程池状态为SHUTDOWN并且第一个任务为空时,当线程池状态为SHUTDOWN时,是不允许添加新任务的,所以他会从队列中获取任务。
                if (rs < SHUTDOWN ||
                    (rs == SHUTDOWN && firstTask == null)) {
                    if (t.isAlive()) // precheck that t is startable
                        throw new IllegalThreadStateException();
                  	//添加worker到集合中
                    workers.add(w);
                    int s = workers.size();
                  	//跟踪最大的线程池数量
                    if (s > largestPoolSize)
                        largestPoolSize = s;
                  	//添加worker成功
                    workerAdded = true;
                }
            } finally {
                mainLock.unlock();
            }
          	//如果添加worker成功就启动任务
            if (workerAdded) {
                t.start();
                workerStarted = true;
            }
        }
    } finally {
      	//如果没有启动,w不为空就已出worker,并且线程池数量进行减少。
        if (! workerStarted)
            addWorkerFailed(w);
    }
    return workerStarted;
}

通过上面addWorker方法可以分为两个部分来进行讲解,第一部分是对线程池中线程数量的通过CAS的方式进行增加,其中第一部分中上面有个if语句,这个地方着重分析下:

if (rs >= SHUTDOWN &&
    ! (rs == SHUTDOWN &&
       firstTask == null &&
       ! workQueue.isEmpty()))
    return false;

可以看成下面的样子,将!放到括号里面,变成下面的样子:

if (rs >= SHUTDOWN &&
     (rs != SHUTDOWN ||
       firstTask != null ||
       workQueue.isEmpty()))
    return false;
  • 线程池的状态是SHUTDOWN、STOP、TIDYING、TERMINATED

  • 当线程池状态是STOP、TIDYING、TERMINATED时,这些状态的时候不需要进行线程的添加和启动操作,因- 为如果是上面的状态,其实线程池的线程正在进行销毁操作,意味着线程调用了shutdownNow等方

  • 如果线程池状态为SHUTDOWN并且第一个任务不为空时,不接受新的任务,直接返回false,也就是说SHUTDOWN的状态,不会接受新任务,只会针对队列中未完成的任务进行操作。

  • 当线线程池状态为SHUTDOWN并且队列为空时,直接返回不进行任务添加。

上半部分分为内外两个循环,外循环对线程池状态的判断,用于判断是否需要添加工作任务线程,通过上面讲的内容进行判断,后面内循环则是通过CAS操作增加线程数,如果指定了core参数为true,代表线程池中线程的数量没有超过corePoolSize,当指定为false时,代表线程池中线程数量达到了corePoolSize,并且队列已经满了,或者是SynchronousQueue这种无空间的队列,但是还没有达到最大的线程池maximumPoolSize,所以它内部会根据指定的core参数来判断是否已经超过了最大的限制,如果超过了就不能进行添加线程了,并且进行拒绝策略,如果没有超过就增加线程数量。

第二部分主要是把任务添加到worker中,并启动线程,这里我们先来看一下Worker对象。

// 这里发现它是实现了AQS,是一个不可重入的独占锁模式
// 并且它还集成了Runable接口,实现了run方法。
private final class Worker
    extends AbstractQueuedSynchronizer
    implements Runnable
{
    private static final long serialVersionUID = 6138294804551838833L;

    /** 执行任务的线程,通过ThreadFactory创建 */
    final Thread thread;
    /** 初始化第一个任务*/
    Runnable firstTask;
    /** 每个线程完成任务的数量 */
    volatile long completedTasks;

    /**
     * 首先现将state值设置为-1,因为在AQS中state=0代表的是锁没有被占用,而且在线程池中shutdown方法会判断能否争抢到锁,如果可以获得锁则对线程进行中断操作,如果调用了shutdownNow它会判断state>=0会被中断。
     * firstTask第一个任务,如果为空则会从队列中获取任务,后面runWorker中。
     */
    Worker(Runnable firstTask) {
        setState(-1); // inhibit interrupts until runWorker
        this.firstTask = firstTask;
        this.thread = getThreadFactory().newThread(this);
    }

    /** 委托调用外部的runWorker方法 */
    public void run() {
        runWorker(this);
    }

		//是否独占锁
    protected boolean isHeldExclusively() {
        return getState() != 0;
    }
		
    protected boolean tryAcquire(int unused) {
        if (compareAndSetState(0, 1)) {
            setExclusiveOwnerThread(Thread.currentThread());
            return true;
        }
        return false;
    }

    protected boolean tryRelease(int unused) {
        setExclusiveOwnerThread(null);
        setState(0);
        return true;
    }

    public void lock()        { acquire(1); }
    public boolean tryLock()  { return tryAcquire(1); }
    public void unlock()      { release(1); }
    public boolean isLocked() { return isHeldExclusively(); }
		//这里就是上面shutdownNow中调用的线程中断的方法,getState()>=0
    void interruptIfStarted() {
        Thread t;
        if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
            try {
                t.interrupt();
            } catch (SecurityException ignore) {
            }
        }
    }
}

可以看到Worker是一个实现了AQS的锁,它是一个不可重入的独占锁,并且他也实现了Runnable接口,实现了run方法,在构造函数中将AQS的state设置为-1,为了避免线程还没有进入runWorker方法前,就调用了shutdown或shutdownNow方法,会被中断,设置为-1则不会被中断。后面我们看到run方法,它调用的是ThreadPoolExecutor的runWorker方法,我们这里回想一下,在addWorker方法中,添加worker到HashSet中后,他会将workerAdded设置为true,代表添加worker成功,后面有调用了下面代码:

if (workerAdded) {
    t.start();
    workerStarted = true;
}

这个t代表的就是在Worker构造函数中的使用ThreadFactory创建的线程,并且将自己(Worker自己)传递了当前线程,创建的线程就是任务线程,任务线程启动的时候会调用Worker下的run方法,run方法内部又委托给外部方法runWorker来进行操作,它的参数传递的是调用者自己,Worker中的run方法如下所示:

public void run() {
    runWorker(this); 			//this指Worker对象本身
}

这里简单画一张图来表示下调用的逻辑。
在这里插入图片描述
整体的逻辑是先进行创建线程,线程将Worker设置为执行程序,并将线程塞到Worker中,然后再addWorker中将Worker中的线程取出来,进行启动操作,启动后他会调用Worker中的run方法,然后run方法中将调用ThreadPoolExecutor的runWorker,然后runWorker又会调用Worker中的任务firstTask,这个fistTask是要真正执行的任务,也是用户自己实现的代码逻辑。

接下来我们就要看一下runWorker方法里面具体内容:

final void runWorker(Worker w) {
  	//调用者也就是Worker中的线程
    Thread wt = Thread.currentThread();
  	//获取Worker中的第一个任务
    Runnable task = w.firstTask;
  	//将Worker中的任务清除代表执行了第一个任务了,后面如果再有任务就从队列中获取。
    w.firstTask = null;
  	//这里还记的我们在new Worker的时候将AQS的state状态设置为-1,这里先进行解锁操作,将state设置为0
    w.unlock(); // allow interrupts
    boolean completedAbruptly = true;
    try {
      	//循环进行获取任务,如果第一个任务不为空,或者是如果第一个任务为空,从任务队列中获取任务,如果有任务则返回获取的任务信息,如果没有任务可以获取则进行阻塞,阻塞也分两种第一种是阻塞直到任务队列中有内容,第二种是阻塞队列一定时间之后还是没有任务就直接返回null。
        while (task != null || (task = getTask()) != null) {
          	//先获取worker的独占锁,防止其他线程调用了shutdown方法。
            w.lock();
            // 如果线程池正在停止,确保线程是被中断的,如果没有则确保线程不被中断操作。
            if ((runStateAtLeast(ctl.get(), STOP) || //如果线程池状态为STOP、TIDYING、TERMINATED直接拒绝任务中断当前线程
                 (Thread.interrupted() &&
                  runStateAtLeast(ctl.get(), STOP))) &&
                !wt.isInterrupted())
                wt.interrupt();
            try {
              	//执行任务之前做一些操作,可进行自定义
                beforeExecute(wt, task);
                Throwable thrown = null;
                try {
                  	//运行任务在这里喽。
                    task.run();
                } catch (RuntimeException x) {
                    thrown = x; throw x;
                } catch (Error x) {
                    thrown = x; throw x;
                } catch (Throwable x) {
                    thrown = x; throw new Error(x);
                } finally {
	                  //执行任务之后做一些操作,可进行自定义
                    afterExecute(task, thrown);
                }
            } finally {
              	//将任务清空为了下次任务获取
                task = null;
              	//统计当前Worker完成了多少任务
                w.completedTasks++;
              	//独占锁释放
                w.unlock();
            }
        }
        completedAbruptly = false;
    } finally {
      	//处理Worker的退出操作,执行清理工作。
        processWorkerExit(w, completedAbruptly);
    }
}

我们看到如果Worker是第一次被启动,它会从Worker中获取firstTask任务来执行,然后执行成功后,它会getTask()来从队列中获取任务,这个地方比较有意思,它是分情况进行获取任务的,我们都直到BlockingQueue中提供了几种从队列中获取的方法,这个getTask中使用了两种方式,第一种是使用poll进行获取队列中的信息,它采用的是过一点时间如果队列中仍没有任务时直接返回null,然后还有一个就是take方法,take方法是如果队列中没有任务则将当前线程进行阻塞,等待队列中有任务后,会通知等待的队列线程进行消费任务,让我们看一下getTask方法:

private Runnable getTask() {
    boolean timedOut = false; //poll获取超时

    for (;;) {
      	//获取线程池的状态和线程数量
        int c = ctl.get();
      	//获取线程池的状态
        int rs = runStateOf(c);

        //线程池状态大于等于SHUTDOWN
      	//1.线程池如果是大于STOP的话减少工作线程池数量
      	//2.如果线程池状态为SHUTDOW并且队列为空时,代表队列任务已经执行完,返回null,线程数量减少1
        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
            decrementWorkerCount();
            return null;
        }
				//获取线程池数量。
        int wc = workerCountOf(c);

        //如果allowCoreThreadTimeOut为true,则空闲线程在一定时间未获得任务会清除
      	//或者如果线程数量大于corePoolSize的时候会进行清除空闲线程
        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
				//1.如果线程池数量大于最大的线程池数量或者对(空余线程进行清除操作并且poll超时了,意思是队列中没有内容了,导致poll间隔一段时间后没有获取内容超时了。
      	//2.如果线程池的数量大于1或者是队列已经是空的
      	//总之意思就是当线程池的线程池数量大于corePoolSize,或指定了allowCoreThreadTimeOut为true,当队列中没有数据或者线程池数量大于1的情况下,尝试对线程池的数量进行减少操作,然后返回null,用于上一个方法进行清除操作。
        if ((wc > maximumPoolSize || (timed && timedOut))
            && (wc > 1 || workQueue.isEmpty())) {
            if (compareAndDecrementWorkerCount(c))
                return null;
            continue;
        }

        try {
          	//如果timed代表的是清除空闲线程的意思
            Runnable r = timed ?
                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :	//等待一段时间如果没有获取到返回null。
                workQueue.take();					//阻塞当前线程
          	//如果队列中获取到内容则返回
            if (r != null)
                return r;
						//如果没有获取到超时了则设置timeOut状态
            timedOut = true;
        } catch (InterruptedException retry) {
            timedOut = false;
        }
    }
}
  1. 工作线程调用getTask从队列中进行获取任务。
  2. 如果指定了allowCoreThreadTimeOut或线程池线程数量大于corePoolSize则进行清除空闲多余的线程,调用阻塞队列的poll方法,在指定时间内如果没有获取到任务直接返回false。
  3. 如果线程池中线程池数量小于corePoolSize或者allowCoreThreadTimeOut为false默认值,则进行阻塞线程从队列中获取任务,直到队列有任务唤醒线程。

我们还记得第一张图中有标记出来是core线程和普通线程,其实这样标记不是很准确,准确的意思是如果线程池的数量超过了corePoolSize并且没有特别指定allowCoreThreadTimeOut的情况下,它会清除掉大于corePoolSize并且小于等于maximumPoolSize的一些线程,标记出core线程的意思是有corePoolSize不会被清除,但是会清除大于corePoolSize的线程,也就是线程池中的线程对获取任务的时候进行判断,也就是getTask中进行判断,如果当前线程池的线程数量大于corePoolSize就使用poll方式获取队列中的任务,当过一段时间还没有任务就会返回null,返回null之后设置timeOut=true,并且获取getTask也会返回null,到此会跳到调用者runWorker方法中,一直在while (task != null || (task = getTask()) != null)此时的getTask返回null跳出while循环语句,设置completedAbruptly = false,表示不是突然完成的而是正常完成,退出后它会执行finally的processWorkerExit(w, completedAbruptly),执行清理工作。我们来看下源码:

private void processWorkerExit(Worker w, boolean completedAbruptly) {
    if (completedAbruptly) 				// 如果突然完成则调整线程数量
        decrementWorkerCount();		// 减少线程数量1

    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();														//获取锁,同时只有一个线程获得锁
    try {
        completedTaskCount += w.completedTasks;	//统计整个线程池完成的数量
        workers.remove(w);											//将完成任务的worker从HashSet中移除
    } finally {
        mainLock.unlock();											//释放锁
    }
		//尝试设置线程池状态为TERMINATED
  	//1.如果线程池状态为SHUTDOWN并且线程池线程数量与工作队列为空时,修改状态。
  	//2.如果线程池状态为STOP并且线程池线程数量为空时,修改状态。
    tryTerminate();								
		
  	// 获取线程池的状态和线程池的数量
    int c = ctl.get();
  	// 如果线程池的状态小于STOP,也就是SHUTDOWN或RUNNING状态
    if (runStateLessThan(c, STOP)) {
      	//如果不是突然完成,也就是正常结束
        if (!completedAbruptly) {
          	//如果指定allowCoreThreadTimeOut=true(默认false)则代表线程池中有空余线程时需要进行清理操作,否则线程池中的线程应该保持corePoolSize
            int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
          	//这里判断如果线程池中队列为空并且线程数量最小为0时,将最小值调整为1,因为队列中还有任务没有完成需要增加队列,所以这里增加了一个线程。
            if (min == 0 && ! workQueue.isEmpty())
                min = 1;
            if (workerCountOf(c) >= min)
                return; // replacement not needed
        }
      	//如果当前线程数效益核心个数,就增加一个Worker
        addWorker(null, false);
    }

通过上面的源码可以得出,如果线程数超过核心线程数后,在runWorker中就不会等待队列中的消息,而是会进行清除操作,上面的清除代码首先是先对线程池的数量进行较少操作,其次是统计整个线程池中完成任务的数量,然后就是尝试修改线程池的状态由SHUTDOWN->TIDYING->TERMINATED或者是由STOP->TIDYING->TERMINATED,修改线程池状态为TERMINATED,需要有两个条件:

  1. 当线程池线程数量和工作队列为空,并且线程池的状态为SHUTDOWN时,才会将状态进行修改,修改的过程是SHUTDOWN->TIDYING->TERMINATED

  2. 当线程池的状态为STOP并且线程池数量为空时,才会尝试修改状态,修改过程是STOP->TIDYING->TERMINATED

如果设置为TERMINATED状态,还需要调用条件变量termination的signalAll()方法来唤醒所有因为调用awaitTermination方法而被阻塞的线程,换句话说当调用awaitTermination后,只有线程池状态变成TERMINATED才会被唤醒。

接下来我们就来分析一下这个tryTerminate方法,看一下他到底符不符合我们上述说的内容:

final void tryTerminate() {
    for (;;) {
      	// 获取线程池的状态和线程池的数量组合状态
        int c = ctl.get();
      	//这里单独下面进行分析,这里说明两个问题,需要反向来想这个问题。
      	//1.如果线程池状态STOP则不进入if语句
      	//2.如果线程池状态为SHUTDOWN并且工作队列为空时,不进入if语句
        if (isRunning(c) ||
            runStateAtLeast(c, TIDYING) ||
            (runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))
            return;
      	//如果线程池数量不为空时,进行中断操作。
        if (workerCountOf(c) != 0) { // Eligible to terminate
            interruptIdleWorkers(ONLY_ONE);
            return;
        }

        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
          	//修改状态为TIDYING,并且将线程池的数量进行清空
            if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {
                try {
                  	//执行一些逻辑,默认是空的
                    terminated();
                } finally {
                  	//修改状态为TERMINATED
                    ctl.set(ctlOf(TERMINATED, 0));
                  	//唤醒调用awaitTermination方法的线程
                    termination.signalAll();
                }
                return;
            }
        } finally {
            mainLock.unlock();
        }
        // else retry on failed CAS
    }

我们单独将上面的if语句摘出来进行分析,将上面的第一个if判断进行修改如下,可以看到return在else里面,这时候内部if判断进行转换,转换成如下所示:

if (!isRunning(c) &&			
    !runStateAtLeast(c, TIDYING) && //只能是SHUTDOWN和STOP
    (runStateOf(c) != SHUTDOWN ||  workQueue.isEmpty())){
    //这里执行逻辑
}else {
		return;
}

逐一分析分析内容如下:

  • !isRunning©代表不是RUNNING,则可能的是SHUTDOWN,STOP,TIDYING,TERMINATED这四种状态

  • 中间的连接符是并且的意思,跟着runStateAtLeast(c, TIDYING)这句话的意思是至少是TIDYING,TERMINATED这两个,反过来就是可能是RUNNING,SHUTDOWN,STOP,但是前面已经判断了不能是RUNINNG状态,所以前面两个连在一起就是只能是状态为SHUTDOWN,STOP

  • runStateOf© != SHUTDOWN || workQueue.isEmpty()当前面的状态是SHUTDOWN时,则会出发workQueue.isEmpty(),连在一起就是状态是SHUTDOWN并工作队列为空,当线程池状态为STOP时,则会进入到runStateOf© != SHUTDOWN,直接返回true,就代表线程池状态为STOP

后面还有一个语句一个if语句将其转换一下逻辑就是下面的内容:

if (workerCountOf(c) == 0) { 
 		//执行下面的逻辑   
}else{
  	interruptIdleWorkers(ONLY_ONE);
    return;
}

这里我们也进行转换下,就可以看出来当线程池的数量为空时,才会进行下面的逻辑,下面的逻辑就是修改线程池状态为TERMINATED,两个连在一起就是上面分析的修改状态为TERMINATED的条件,这里画一张图来表示线程池状态的信息:
在这里插入图片描述
其实上面图中我们介绍了关于从SHUTDOWN或STOP到TERMINATED的变化,没有讲解关于如何从RUNNING状态转变成SHUTDOWN或STOP状态,其实是调用了shutdown()或shutdownNow方法对其进行状态的变换,下面来看一下shutdown方法源码:

public void shutdown() {
  	//获取全局锁
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
      	//权限检查
        checkShutdownAccess();
      	//设置线程池状态为SHUTDOWN,如果状态已经是大于等于SHUTDOWN则直接返回
        advanceRunState(SHUTDOWN);
      	//如果线程没有设置中断标识并且线程没有运行则设置中断标识
        interruptIdleWorkers();
      	//空的可以实现的内容
        onShutdown(); // hook for ScheduledThreadPoolExecutor
    } finally {
        mainLock.unlock();
    }
  	//尝试修改线程池状态为TERMINATED
    tryTerminate();
}
  1. 首先对当前线程进行权限检测,查看是否设置了安全管理器,如果设置了则要看当前调用shutdown的线程有没有权限都关闭线程的权限,如果有权限还要看是否有中断工作现成的权限,如果没有权限则抛出SecurityException或NullPointException异常。

  2. 设置线程池状态为SHUTDOWN,如果状态已经是大于等于SHUTDOWN则直接返回

  3. 如果线程没有设置中断标识并且线程没有运行则设置中断标识

  4. 尝试修改线程池状态为TERMINATED

接下来我们来看一下advanceRunState内容如下所示:

private void advanceRunState(int targetState) {
    for (;;) {
      	//获取线程池状态和线程池的线程数量
        int c = ctl.get();
        if (runStateAtLeast(c, targetState) ||		//如果线程池的状态>=SHUTDOWN
            ctl.compareAndSet(c, ctlOf(targetState, workerCountOf(c))))	//设置线程池状态为SHUTDOWN
          	//返回
            break;										
    }
}
  1. 当线程池的状态>=SHUTDOWN,直接返回
  2. 如果线程池状态为RUNNING,设置线程池状态为SHUTDOWN,设置成功则返回

interruptIdleWorkers代码如下所示:

private void interruptIdleWorkers() {
    interruptIdleWorkers(false);
}
private void interruptIdleWorkers(boolean onlyOne) {
  	//获取全局锁,同时只能有一个线程能够调用shutdown方法
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
      	//遍历工作线程
        for (Worker w : workers) {
            Thread t = w.thread;
          	//如果当前线程没有设置中断标志并且可以获取Worker自己的锁
            if (!t.isInterrupted() && w.tryLock()) {
                try {
                  	//设置中断标志
                    t.interrupt();
                } catch (SecurityException ignore) {
                } finally {
                    w.unlock();
                }
            }
          	//执行一次,清理空闲线程。
            if (onlyOne)
                break;
        }
    } finally {
        mainLock.unlock();
    }
}

我们看到当我们调用shutdown方法的时候,只是将空闲的线程给设置了中断标识,也就是活跃正在执行任务的线程并没有设置中断标识,直到将任务全部执行完后才会逐步清理线程操作,我们还记的在getTask中的方法里面有这样一段代码:

// Check if queue empty only if necessary.
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
    decrementWorkerCount();
    return null;
}

判断是否是状态>=SHUTDOWN,并且队列为空时,将线程池数量进行减少操作,内部进行CAS操作,直到CAS操作成功为止,并且返回null,返回null后,会调用processWorkerExit(w, false);清理Workers线程信息,并且尝试将线程设置为TERMINATED状态,上面是对所有shutdown方法的分析,下面来看一下shutdownNow方法并且比较两个之间的区别:

public List shutdownNow() {
    List tasks;
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
      	//权限检查
        checkShutdownAccess();
      	//设置线程池状态为STOP,如果状态已经是大于等于STOP则直接返回
        advanceRunState(STOP);
      	//这里是和SHUTDOWN区别的地方,这里是强制进行中断操作
        interruptWorkers();
      	//将为完成任务复制到list集合中
        tasks = drainQueue();
    } finally {
        mainLock.unlock();
    }
  	//尝试修改线程池状态为TERMINATED
    tryTerminate();
    return tasks;
}

shutdownNow方法返回了未完成的任务信息列表tasks = drainQueue();,其实该方法和shutdown方法主要的区别在于一下几点内容:

  1. shutdownNow方法将线程池状态设置为STOP,而shutdown则将状态修改为SHUTDOWN
  2. shutdownNow方法将工作任务进行中断操作,也就是说如果工作线程在工作也会被中断,而shutdown则是先尝试获取锁如果获得锁成功则进行中断标志设置,也就是中断操作,如果没有获取到锁则等待进行完成后自动退出。
  3. shutdownNow方法返回未完成的任务列表。

下面代码是shutDownNow的interruptWorkers方法:

private void interruptWorkers() {
    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
        for (Worker w : workers)
          	//直接进行中断操作。
            w.interruptIfStarted();
    } finally {
        mainLock.unlock();
    }
}

内部调用了Worker的interruptIfStarted方法,方法内部是针对线程进行中断操作,但是中断的前提条件是AQS的state状态必须大于等于0,如果状态为-1的则不会被中断,但是如果任务运行起来的时候在runWorker中则不会执行任务,因为线程池状态为STOP,如果线程池状态为STOP则会中断线程,下面代码是Worker中的interruptIfStarted:

void interruptIfStarted() {
    Thread t;
  	//当前Worker锁状态大于等于0并且线程没有被中断
    if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
        try {
            t.interrupt();
        } catch (SecurityException ignore) {
        }
    }
}

拒绝策略

JDK内置的拒绝策略如下:

  1. AbortPolicy策略:该策略会直接抛出异常,阻止系统正常工作
  2. CallerRunsPolicy策略:只要线程池没有关闭线程池状态是RUNNING状态,该略略直接调用线程中运行当前被丢弃的任务
  3. DiscardOledestPolicy策略:该策略将丢弃最老的一个请求,也就是即将被执行的第一个任务,并尝试再次提交任务
  4. DiscardPolicy策略:该策略默默丢弃无法处理的任务,不予任何处理。

在这里插入图片描述

总结

首先先上一张图,针对这张图来进行总结:

在这里插入图片描述

  1. 主线程进行线程池的调用,线程池执行execute方法
  2. 线程池通过addWorker进行创建线程,并将线程放入到线程池中,这里我们看到第二步是将线程添加到核心线程中,其实线程池内部不分核心线程和非核心线程,只是根据corePoolSize和maximumPoolSize设置的大小来进行区分,因为超过corePoolSize的线程会被回收,至于回收那些线程,是根据线程获取任务的时候进行判断,当前线程池数量大于corePoolSize,或者指定了allowCoreThreadTimeOut为true,则他等待一定时间后会返回,不会一直等待
  3. 当线程池的数量达到corePoolSize时,线程池首先会将任务添加到队列中
  4. 当队列中任务也达到了队列设置的最大值时,它会创建新的线程,注意的是此时的线程数量已经超过了corePoolSize,但是没有达到maximumPoolSize最大值。
  5. 当线程池的线程数量达到了maximumPoolSize,则会相应拒绝策略。
  6. java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁

  7. java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁_zqz_zqz的博客-CSDN博客_偏向锁 轻量级锁 重量级锁
  8. 之前做过一个测试,详情见这篇文章《多线程 +1操作的几种实现方式,及效率对比》,当时对这个测试结果很疑惑,反复执行过多次,发现结果是一样的:
    1. 单线程下synchronized效率最高(当时感觉它的效率应该是最差才对);
    2. AtomicInteger效率最不稳定,不同并发情况下表现不一样:短时间低并发下,效率比synchronized高,有时甚至比LongAdder还高出一点,但是高并发下,性能还不如synchronized,不同情况下性能表现很不稳定;
    3. LongAdder性能稳定,在各种并发情况下表现都不错,整体表现最好,短时间的低并发下比AtomicInteger性能差一点,长时间高并发下性能最高(可以让AtomicInteger下台了);

    这篇文章我们就去揭秘,为什么会是这个测试结果!

    理解锁的基础知识

    如果想要透彻的理解java锁的来龙去脉,需要先了解以下基础知识。

    基础知识之一:锁的类型

    锁从宏观上分类,分为悲观锁与乐观锁。

    乐观锁

    乐观锁是一种乐观思想,即认为读多写少,遇到并发写的可能性低,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,采取在写时先读出当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),如果失败则要重复读-比较-写的操作。

    java中的乐观锁基本都是通过CAS操作实现的,CAS是一种更新的原子操作,比较当前值跟传入值是否一样,一样则更新,否则失败。

    悲观锁

    悲观锁是就是悲观思想,即认为写多,遇到并发写的可能性高,每次去拿数据的时候都认为别人会修改,所以每次在读写数据的时候都会上锁,这样别人想读写这个数据就会block直到拿到锁。java中的悲观锁就是Synchronized,AQS框架下的锁则是先尝试cas乐观锁去获取锁,获取不到,才会转换为悲观锁,如RetreenLock。

    基础知识之二:java线程阻塞的代价

    java的线程是映射到操作系统原生线程之上的,如果要阻塞或唤醒一个线程就需要操作系统介入,需要在户态与核心态之间切换,这种切换会消耗大量的系统资源,因为用户态与内核态都有各自专用的内存空间,专用的寄存器等,用户态切换至内核态需要传递给许多变量、参数给内核,内核也需要保护好用户态在切换时的一些寄存器值、变量等,以便内核态调用结束后切换回用户态继续工作。

    1. 如果线程状态切换是一个高频操作时,这将会消耗很多CPU处理时间;
    2. 如果对于那些需要同步的简单的代码块,获取锁挂起操作消耗的时间比用户代码执行的时间还要长,这种同步策略显然非常糟糕的。

    synchronized会导致争用不到锁的线程进入阻塞状态,所以说它是java语言中一个重量级的同步操纵,被称为重量级锁,为了缓解上述性能问题,JVM从1.5开始,引入了轻量锁与偏向锁,默认启用了自旋锁,他们都属于乐观锁。

    明确java线程切换的代价,是理解java中各种锁的优缺点的基础之一。

    基础知识之三:markword

    在介绍java锁之前,先说下什么是markword,markword是java对象数据结构中的一部分,要详细了解java对象的结构可以点击这里,这里只做markword的详细介绍,因为对象的markword和java各种类型的锁密切相关;

    markword数据的长度在32位和64位的虚拟机(未开启压缩指针)中分别为32bit和64bit,它的最后2bit是锁状态标志位,用来标记当前对象的状态,对象的所处的状态,决定了markword存储的内容,如下表所示:

    状态 标志位 存储内容
    未锁定 01 对象哈希码、对象分代年龄
    轻量级锁定 00 指向锁记录的指针
    膨胀(重量级锁定) 10 执行重量级锁定的指针
    GC标记 11 空(不需要记录信息)
    可偏向 01 偏向线程ID、偏向时间戳、对象分代年龄

    32位虚拟机在不同状态下markword结构如下图所示:

    这里写图片描述

    了解了markword结构,有助于后面了解java锁的加锁解锁过程;

    小结

    前面提到了java的4种锁,他们分别是重量级锁、自旋锁、轻量级锁和偏向锁,
    不同的锁有不同特点,每种锁只有在其特定的场景下,才会有出色的表现,java中没有哪种锁能够在所有情况下都能有出色的效率,引入这么多锁的原因就是为了应对不同的情况;

    前面讲到了重量级锁是悲观锁的一种,自旋锁、轻量级锁与偏向锁属于乐观锁,所以现在你就能够大致理解了他们的适用范围,但是具体如何使用这几种锁呢,就要看后面的具体分析他们的特性;

    java中的锁

    自旋锁

    自旋锁原理非常简单,如果持有锁的线程能在很短时间内释放锁资源,那么那些等待竞争锁的线程就不需要做内核态和用户态之间的切换进入阻塞挂起状态,它们只需要等一等(自旋),等持有锁的线程释放锁后即可立即获取锁,这样就避免用户线程和内核的切换的消耗

    但是线程自旋是需要消耗cup的,说白了就是让cup在做无用功,如果一直获取不到锁,那线程也不能一直占用cup自旋做无用功,所以需要设定一个自旋等待的最大时间。

    如果持有锁的线程执行的时间超过自旋等待的最大时间扔没有释放锁,就会导致其它争用锁的线程在最大等待时间内还是获取不到锁,这时争用线程会停止自旋进入阻塞状态。

    自旋锁的优缺点

    自旋锁尽可能的减少线程的阻塞,这对于锁的竞争不激烈,且占用锁时间非常短的代码块来说性能能大幅度的提升,因为自旋的消耗会小于线程阻塞挂起再唤醒的操作的消耗,这些操作会导致线程发生两次上下文切换!

    但是如果锁的竞争激烈,或者持有锁的线程需要长时间占用锁执行同步块,这时候就不适合使用自旋锁了,因为自旋锁在获取锁前一直都是占用cpu做无用功,占着XX不XX,同时有大量线程在竞争一个锁,会导致获取锁的时间很长,线程自旋的消耗大于线程阻塞挂起操作的消耗,其它需要cup的线程又不能获取到cpu,造成cpu的浪费。所以这种情况下我们要关闭自旋锁;

    自旋锁时间阈值

    自旋锁的目的是为了占着CPU的资源不释放,等到获取到锁立即进行处理。但是如何去选择自旋的执行时间呢?如果自旋执行时间太长,会有大量的线程处于自旋状态占用CPU资源,进而会影响整体系统的性能。因此自旋的周期选的额外重要!

    JVM对于自旋周期的选择,jdk1.5这个限度是一定的写死的,在1.6引入了适应性自旋锁,适应性自旋锁意味着自旋的时间不在是固定的了,而是由前一次在同一个锁上的自旋时间以及锁的拥有者的状态来决定,基本认为一个线程上下文切换的时间是最佳的一个时间,同时JVM还针对当前CPU的负荷情况做了较多的优化

    1. 如果平均负载小于CPUs则一直自旋

    2. 如果有超过(CPUs/2)个线程正在自旋,则后来线程直接阻塞

    3. 如果正在自旋的线程发现Owner发生了变化则延迟自旋时间(自旋计数)或进入阻塞

    4. 如果CPU处于节电模式则停止自旋

    5. 自旋时间的最坏情况是CPU的存储延迟(CPU A存储了一个数据,到CPU B得知这个数据直接的时间差)

    6. 自旋时会适当放弃线程优先级之间的差异

    自旋锁的开启

    JDK1.6中-XX:+UseSpinning开启;
    -XX:PreBlockSpin=10 为自旋次数;
    JDK1.7后,去掉此参数,由jvm控制;

    重量级锁Synchronized

    Synchronized的作用

    在JDK1.5之前都是使用synchronized关键字保证同步的,Synchronized的作用相信大家都已经非常熟悉了;

    它可以把任意一个非NULL的对象当作锁。

    1. 作用于方法时,锁住的是对象的实例(this);
    2. 当作用于静态方法时,锁住的是Class实例,又因为Class的相关数据存储在永久带PermGen(jdk1.8则是metaspace),永久带是全局共享的,因此静态方法锁相当于类的一个全局锁,会锁所有调用该方法的线程;
    3. synchronized作用于一个对象实例时,锁住的是所有以该对象为锁的代码块。

    Synchronized的实现

    实现如下图所示;

    这里写图片描述

    它有多个队列,当多个线程一起访问某个对象监视器的时候,对象监视器会将这些线程存储在不同的容器中。

    1. Contention List:竞争队列,所有请求锁的线程首先被放在这个竞争队列中;

    2. Entry List:Contention List中那些有资格成为候选资源的线程被移动到Entry List中;

    3. Wait Set:哪些调用wait方法被阻塞的线程被放置在这里;

    4. OnDeck:任意时刻,最多只有一个线程正在竞争锁资源,该线程被成为OnDeck;

    5. Owner:当前已经获取到所资源的线程被称为Owner;

    6. !Owner:当前释放锁的线程。

    JVM每次从队列的尾部取出一个数据用于锁竞争候选者(OnDeck),但是并发情况下,ContentionList会被大量的并发线程进行CAS访问,为了降低对尾部元素的竞争,JVM会将一部分线程移动到EntryList中作为候选竞争线程。Owner线程会在unlock时,将ContentionList中的部分线程迁移到EntryList中,并指定EntryList中的某个线程为OnDeck线程(一般是最先进去的那个线程)。Owner线程并不直接把锁传递给OnDeck线程,而是把锁竞争的权利交给OnDeck,OnDeck需要重新竞争锁。这样虽然牺牲了一些公平性,但是能极大的提升系统的吞吐量,在JVM中,也把这种选择行为称之为“竞争切换”。

    OnDeck线程获取到锁资源后会变为Owner线程,而没有得到锁资源的仍然停留在EntryList中。如果Owner线程被wait方法阻塞,则转移到WaitSet队列中,直到某个时刻通过notify或者notifyAll唤醒,会重新进去EntryList中。

    处于ContentionList、EntryList、WaitSet中的线程都处于阻塞状态,该阻塞是由操作系统来完成的(Linux内核下采用pthread_mutex_lock内核函数实现的)。

    Synchronized是非公平锁。 Synchronized在线程进入ContentionList时,等待的线程会先尝试自旋获取锁,如果获取不到就进入ContentionList,这明显对于已经进入队列的线程是不公平的,还有一个不公平的事情就是自旋获取锁的线程还可能直接抢占OnDeck线程的锁资源。

    偏向锁

    Java偏向锁(Biased Locking)是Java6引入的一项多线程优化。
    偏向锁,顾名思义,它会偏向于第一个访问锁的线程,如果在运行过程中,同步锁只有一个线程访问,不存在多线程争用的情况,则线程是不需要触发同步的,这种情况下,就会给线程加一个偏向锁。
    如果在运行过程中,遇到了其他线程抢占锁,则持有偏向锁的线程会被挂起,JVM会消除它身上的偏向锁,将锁恢复到标准的轻量级锁。

    它通过消除资源无竞争情况下的同步原语,进一步提高了程序的运行性能。

    偏向锁的实现

    偏向锁获取过程:
    1. 访问Mark Word中偏向锁的标识是否设置成1,锁标志位是否为01,确认为可偏向状态。

    2. 如果为可偏向状态,则测试线程ID是否指向当前线程,如果是,进入步骤5,否则进入步骤3。

    3. 如果线程ID并未指向当前线程,则通过CAS操作竞争锁。如果竞争成功,则将Mark Word中线程ID设置为当前线程ID,然后执行5;如果竞争失败,执行4。

    4. 如果CAS获取偏向锁失败,则表示有竞争。当到达全局安全点(safepoint)时获得偏向锁的线程被挂起,偏向锁升级为轻量级锁,然后被阻塞在安全点的线程继续往下执行同步代码。(撤销偏向锁的时候会导致stop the word)

    5. 执行同步代码。

    注意:第四步中到达安全点safepoint会导致stop the word,时间很短。

    偏向锁的释放:

    偏向锁的撤销在上述第四步骤中有提到。偏向锁只有遇到其他线程尝试竞争偏向锁时,持有偏向锁的线程才会释放锁,线程不会主动去释放偏向锁。偏向锁的撤销,需要等待全局安全点(在这个时间点上没有字节码正在执行),它会首先暂停拥有偏向锁的线程,判断锁对象是否处于被锁定状态,撤销偏向锁后恢复到未锁定(标志位为“01”)或轻量级锁(标志位为“00”)的状态。

    偏向锁的适用场景

    始终只有一个线程在执行同步块,在它没有执行完释放锁之前,没有其它线程去执行同步块,在锁无竞争的情况下使用,一旦有了竞争就升级为轻量级锁,升级为轻量级锁的时候需要撤销偏向锁,撤销偏向锁的时候会导致stop the word操作;
    在有锁的竞争时,偏向锁会多做很多额外操作,尤其是撤销偏向所的时候会导致进入安全点,安全点会导致stw,导致性能下降,这种情况下应当禁用;

    查看停顿–安全点停顿日志

    要查看安全点停顿,可以打开安全点日志,通过设置JVM参数 -XX:+PrintGCApplicationStoppedTime 会打出系统停止的时间,添加-XX:+PrintSafepointStatistics -XX:PrintSafepointStatisticsCount=1 这两个参数会打印出详细信息,可以查看到使用偏向锁导致的停顿,时间非常短暂,但是争用严重的情况下,停顿次数也会非常多;

    注意:安全点日志不能一直打开:
    1. 安全点日志默认输出到stdout,一是stdout日志的整洁性,二是stdout所重定向的文件如果不在/dev/shm,可能被锁。
    2. 对于一些很短的停顿,比如取消偏向锁,打印的消耗比停顿本身还大。
    3. 安全点日志是在安全点内打印的,本身加大了安全点的停顿时间。

    所以安全日志应该只在问题排查时打开。
    如果在生产系统上要打开,再再增加下面四个参数:
    -XX:+UnlockDiagnosticVMOptions -XX: -DisplayVMOutput -XX:+LogVMOutput -XX:LogFile=/dev/shm/vm.log
    打开Diagnostic(只是开放了更多的flag可选,不会主动激活某个flag),关掉输出VM日志到stdout,输出到独立文件,/dev/shm目录(内存文件系统)。

    这里写图片描述

    此日志分三部分:
    第一部分是时间戳,VM Operation的类型
    第二部分是线程概况,被中括号括起来
    total: 安全点里的总线程数
    initially_running: 安全点开始时正在运行状态的线程数
    wait_to_block: 在VM Operation开始前需要等待其暂停的线程数

    第三部分是到达安全点时的各个阶段以及执行操作所花的时间,其中最重要的是vmop

    • spin: 等待线程响应safepoint号召的时间;
    • block: 暂停所有线程所用的时间;
    • sync: 等于 spin+block,这是从开始到进入安全点所耗的时间,可用于判断进入安全点耗时;
    • cleanup: 清理所用时间;
    • vmop: 真正执行VM Operation的时间。

    可见,那些很多但又很短的安全点,全都是RevokeBias, 高并发的应用会禁用掉偏向锁。

    jvm开启/关闭偏向锁

    • 开启偏向锁:-XX:+UseBiasedLocking -XX:BiasedLockingStartupDelay=0
    • 关闭偏向锁:-XX:-UseBiasedLocking

    轻量级锁

    轻量级锁是由偏向所升级来的,偏向锁运行在一个线程进入同步块的情况下,当第二个线程加入锁争用的时候,偏向锁就会升级为轻量级锁;
    轻量级锁的加锁过程:

    1. 在代码进入同步块的时候,如果同步对象锁状态为无锁状态(锁标志位为“01”状态,是否为偏向锁为“0”),虚拟机首先将在当前线程的栈帧中建立一个名为锁记录(Lock Record)的空间,用于存储锁对象目前的Mark Word的拷贝,官方称之为 Displaced Mark Word。这时候线程堆栈与对象头的状态如图:
        这里写图片描述所示。

    2. 拷贝对象头中的Mark Word复制到锁记录中;

    3. 拷贝成功后,虚拟机将使用CAS操作尝试将对象的Mark Word更新为指向Lock Record的指针,并将Lock record里的owner指针指向object mark word。如果更新成功,则执行步骤4,否则执行步骤5。

    4. 如果这个更新动作成功了,那么这个线程就拥有了该对象的锁,并且对象Mark Word的锁标志位设置为“00”,即表示此对象处于轻量级锁定状态,这时候线程堆栈与对象头的状态如图所示。
        这里写图片描述

    5. 如果这个更新操作失败了,虚拟机首先会检查对象的Mark Word是否指向当前线程的栈帧,如果是就说明当前线程已经拥有了这个对象的锁,那就可以直接进入同步块继续执行。否则说明多个线程竞争锁,轻量级锁就要膨胀为重量级锁,锁标志的状态值变为“10”,Mark Word中存储的就是指向重量级锁(互斥量)的指针,后面等待锁的线程也要进入阻塞状态。 而当前线程便尝试使用自旋来获取锁,自旋就是为了不让线程阻塞,而采用循环去获取锁的过程。

    轻量级锁的释放

    释放锁线程视角:由轻量锁切换到重量锁,是发生在轻量锁释放锁的期间,之前在获取锁的时候它拷贝了锁对象头的markword,在释放锁的时候如果它发现在它持有锁的期间有其他线程来尝试获取锁了,并且该线程对markword做了修改,两者比对发现不一致,则切换到重量锁。

    因为重量级锁被修改了,所有display mark word和原来的markword不一样了。

    怎么补救,就是进入mutex前,compare一下obj的markword状态。确认该markword是否被其他线程持有。

    此时如果线程已经释放了markword,那么通过CAS后就可以直接进入线程,无需进入mutex,就这个作用。

    尝试获取锁线程视角:如果线程尝试获取锁的时候,轻量锁正被其他线程占有,那么它就会修改markword,修改重量级锁,表示该进入重量锁了。

    还有一个注意点:等待轻量锁的线程不会阻塞,它会一直自旋等待锁,并如上所说修改markword。

    这就是自旋锁,尝试获取锁的线程,在没有获得锁的时候,不被挂起,而转而去执行一个空循环,即自旋。在若干个自旋后,如果还没有获得锁,则才被挂起,获得锁,则执行代码。

    总结

    这里写图片描述

    synchronized的执行过程:
    1. 检测Mark Word里面是不是当前线程的ID,如果是,表示当前线程处于偏向锁
    2. 如果不是,则使用CAS将当前线程的ID替换Mard Word,如果成功则表示当前线程获得偏向锁,置偏向标志位1
    3. 如果失败,则说明发生竞争,撤销偏向锁,进而升级为轻量级锁。
    4. 当前线程使用CAS将对象头的Mark Word替换为锁记录指针,如果成功,当前线程获得锁
    5. 如果失败,表示其他线程竞争锁,当前线程便尝试使用自旋来获取锁。
    6. 如果自旋成功则依然处于轻量级状态。
    7. 如果自旋失败,则升级为重量级锁。

    上面几种锁都是JVM自己内部实现,当我们执行synchronized同步块的时候jvm会根据启用的锁和当前线程的争用情况,决定如何执行同步操作;

    在所有的锁都启用的情况下线程进入临界区时会先去获取偏向锁,如果已经存在偏向锁了,则会尝试获取轻量级锁,启用自旋锁,如果自旋也没有获取到锁,则使用重量级锁,没有获取到锁的线程阻塞挂起,直到持有锁的线程执行完同步块唤醒他们;

    偏向锁是在无锁争用的情况下使用的,也就是同步开在当前线程没有执行完之前,没有其它线程会执行该同步块,一旦有了第二个线程的争用,偏向锁就会升级为轻量级锁,如果轻量级锁自旋到达阈值后,没有获取到锁,就会升级为重量级锁;

    如果线程争用激烈,那么应该禁用偏向锁。

    锁优化

    以上介绍的锁不是我们代码中能够控制的,但是借鉴上面的思想,我们可以优化我们自己线程的加锁操作;

    减少锁的时间

    不需要同步执行的代码,能不放在同步快里面执行就不要放在同步快内,可以让锁尽快释放;

    减少锁的粒度

    它的思想是将物理上的一个锁,拆成逻辑上的多个锁,增加并行度,从而降低锁竞争。它的思想也是用空间来换时间;

    java中很多数据结构都是采用这种方法提高并发操作的效率:

    ConcurrentHashMap

    java中的ConcurrentHashMap在jdk1.8之前的版本,使用一个Segment 数组

    Segment< K,V >[] segments

    Segment继承自ReenTrantLock,所以每个Segment就是个可重入锁,每个Segment 有一个HashEntry< K,V >数组用来存放数据,put操作时,先确定往哪个Segment放数据,只需要锁定这个Segment,执行put,其它的Segment不会被锁定;所以数组中有多少个Segment就允许同一时刻多少个线程存放数据,这样增加了并发能力。

    LongAdder

    LongAdder 实现思路也类似ConcurrentHashMap,LongAdder有一个根据当前并发状况动态改变的Cell数组,Cell对象里面有一个long类型的value用来存储值;
    开始没有并发争用的时候或者是cells数组正在初始化的时候,会使用cas来将值累加到成员变量的base上,在并发争用的情况下,LongAdder会初始化cells数组,在Cell数组中选定一个Cell加锁,数组有多少个cell,就允许同时有多少线程进行修改,最后将数组中每个Cell中的value相加,在加上base的值,就是最终的值;cell数组还能根据当前线程争用情况进行扩容,初始长度为2,每次扩容会增长一倍,直到扩容到大于等于cpu数量就不再扩容,这也就是为什么LongAdder比cas和AtomicInteger效率要高的原因,后面两者都是volatile+cas实现的,他们的竞争维度是1,LongAdder的竞争维度为“Cell个数+1”为什么要+1?因为它还有一个base,如果竞争不到锁还会尝试将数值加到base上;

    LinkedBlockingQueue

    LinkedBlockingQueue也体现了这样的思想,在队列头入队,在队列尾出队,入队和出队使用不同的锁,相对于LinkedBlockingArray只有一个锁效率要高;

    拆锁的粒度不能无限拆,最多可以将一个锁拆为当前cup数量个锁即可;

    锁粗化

    大部分情况下我们是要让锁的粒度最小化,锁的粗化则是要增大锁的粒度;
    在以下场景下需要粗化锁的粒度:
    假如有一个循环,循环内的操作需要加锁,我们应该把锁放到循环外面,否则每次进出循环,都进出一次临界区,效率是非常差的;

    使用读写锁

    ReentrantReadWriteLock 是一个读写锁,读操作加读锁,可以并发读,写操作使用写锁,只能单线程写;

    读写分离

    CopyOnWriteArrayList 、CopyOnWriteArraySet
    CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候,不直接往当前容器添加,而是先将当前容器进行Copy,复制出一个新的容器,然后新的容器里添加元素,添加完元素之后,再将原容器的引用指向新的容器。这样做的好处是我们可以对CopyOnWrite容器进行并发的读,而不需要加锁,因为当前容器不会添加任何元素。所以CopyOnWrite容器也是一种读写分离的思想,读和写不同的容器。
     CopyOnWrite并发容器用于读多写少的并发场景,因为,读的时候没有锁,但是对其进行更改的时候是会加锁的,否则会导致多个线程同时复制出多个副本,各自修改各自的;

    使用cas

    如果需要同步的操作执行速度非常快,并且线程竞争并不激烈,这时候使用cas效率会更高,因为加锁会导致线程的上下文切换,如果上下文切换的耗时比同步操作本身更耗时,且线程对资源的竞争不激烈,使用volatiled+cas操作会是非常高效的选择;

    消除缓存行的伪共享

    除了我们在代码中使用的同步锁和jvm自己内置的同步锁外,还有一种隐藏的锁就是缓存行,它也被称为性能杀手。
    在多核cup的处理器中,每个cup都有自己独占的一级缓存、二级缓存,甚至还有一个共享的三级缓存,为了提高性能,cpu读写数据是以缓存行为最小单元读写的;32位的cpu缓存行为32字节,64位cup的缓存行为64字节,这就导致了一些问题。
    例如,多个不需要同步的变量因为存储在连续的32字节或64字节里面,当需要其中的一个变量时,就将它们作为一个缓存行一起加载到某个cup-1私有的缓存中(虽然只需要一个变量,但是cpu读取会以缓存行为最小单位,将其相邻的变量一起读入),被读入cpu缓存的变量相当于是对主内存变量的一个拷贝,也相当于变相的将在同一个缓存行中的几个变量加了一把锁,这个缓存行中任何一个变量发生了变化,当cup-2需要读取这个缓存行时,就需要先将cup-1中被改变了的整个缓存行更新回主存(即使其它变量没有更改),然后cup-2才能够读取,而cup-2可能需要更改这个缓存行的变量与cpu-1已经更改的缓存行中的变量是不一样的,所以这相当于给几个毫不相关的变量加了一把同步锁;
    为了防止伪共享,不同jdk版本实现方式是不一样的:
    1. 在jdk1.7之前会 将需要独占缓存行的变量前后添加一组long类型的变量,依靠这些无意义的数组的填充做到一个变量自己独占一个缓存行;
    2. 在jdk1.7因为jvm会将这些没有用到的变量优化掉,所以采用继承一个声明了好多long变量的类的方式来实现;
    3. 在jdk1.8中通过添加sun.misc.Contended注解来解决这个问题,若要使该注解有效必须在jvm中添加以下参数:
    -XX:-RestrictContended

    sun.misc.Contended注解会在变量前面添加128字节的padding将当前变量与其他变量进行隔离;
    关于什么是缓存行,jdk是如何避免缓存行的,网上有非常多的解释,在这里就不再深入讲解了;

    其它方式等待着大家一起补充

  9. 多线程 +1操作的几种实现方式,及效率对比_zqz_zqz的博客-CSDN博客
  10. 较LongAdder ,Atomic,synchronized 以及使用Unsafe类中实现的cas 和模拟Atomic,在多线程下的效率 ,见代码,放开对应注释,运行即可看到结果,通过更改线程数,可以查看不同并发情况下性能对比,通过更改循环执行次数,可以查看长时间或短时间持续并发情况下性能对比;

    测试服务器cpu 为i3-4170, 4核  3.7GHz

      1. import java.lang.reflect.Field;
    1. import java.util.concurrent.atomic.AtomicInteger;
    2. import java.util.concurrent.atomic.LongAdder;
    3.  
    4. import sun.misc.Unsafe;
    5.  
    6.  
    7. /**
    8. * 线程安全的+1操作实现种类
    9. * @author Administrator
    10. *
    11. */
    12. public class Test extends Thread {
    13.  
    14. //整体表现最好,短时间的低并发下比AtomicInteger性能差一点,高并发下性能最高;
    15. private static LongAdder longAdder = new LongAdder();
    16.  
    17. //短时间低并发下,效率比synchronized高,甚至比LongAdder还高出一点,但是高并发下,性能还不如synchronized;不同情况下性能表现很不稳定;可见atomic只适合锁争用不激烈的场景
    18. private static AtomicInteger atomInteger = new AtomicInteger(0);
    19.  
    20. //单线程情况性能最好,随着线程数增加,性能越来越差,但是比cas高
    21. private static int $synchronized = 0;
    22.  
    23. //高并发下,cas性能最差
    24. public static volatile int cas = 0;
    25. private static long casOffset;
    26.  
    27. public static Unsafe UNSAFE;
    28.  
    29. static {
    30. try {
    31. @SuppressWarnings("ALL")
    32. Field theUnsafe = Unsafe.class.getDeclaredField("theUnsafe");
    33. theUnsafe.setAccessible(true);
    34. UNSAFE = (Unsafe) theUnsafe.get(null);
    35. casOffset = UNSAFE.staticFieldOffset(Test.class.getDeclaredField("cas"));
    36. } catch (Exception e) {
    37. e.printStackTrace();
    38. }
    39. }
    40.  
    41. //乐观锁 调用unsafe类实现cas
    42. public void cas(){
    43. boolean bl = false;
    44. int tmp;
    45. while(!bl){
    46. tmp = cas;
    47. bl = UNSAFE.compareAndSwapInt(Test.class, casOffset, tmp,tmp+1);
    48. }
    49. }
    50.  
    51. //模拟AtomicInteger的实现
    52. public void atomicInteger(){
    53. UNSAFE.getAndAddInt(this, casOffset, 1);
    54. }
    55.  
    56.  
    57. //对a执行+1操作,执行10000次
    58. public void run(){
    59. int i =1;
    60. while(i<=10000000){
    61. //测试AtomicInteger
    62. atomInteger.incrementAndGet();
    63.  
    64. //atomicInteger实现;
    65. // atomicInteger();
    66.  
    67. //测试LongAdder
    68. // longAdder.increment();
    69.  
    70.  
    71. //测试volatile和cas 乐观锁
    72. // cas();
    73.  
    74. //测试锁
    75. // synchronized(lock){
    76. // ++$synchronized;
    77. // }
    78.  
    79. i++;
    80. }
    81. }
    82. public static void main(String[] args){
    83. long start = System.currentTimeMillis();
    84. //100个线程
    85. for(int i =1 ; i<=60;i++ ){
    86. new Test().start();
    87. }
    88. while(Thread.activeCount()>1){
    89. Thread.yield();
    90. }
    91.  
    92. System.out.println(System.currentTimeMillis() - start);
    93. System.out.println($synchronized);
    94. System.out.println(atomInteger);
    95. System.out.println(longAdder);
    96. System.out.println(cas);
    97. }
    98.  
}

重量级锁自旋锁自适应自旋锁轻量级锁偏向锁悲观锁乐观锁?执行一个方法咋这么辛苦,到处都是锁。

今天这篇文章,给大家普及下这些锁究竟是啥,他们的由来,他们之间有啥关系,有啥区别。

重量级锁

  如果你学过多线程,那么你肯定知道这个东西,至于为什么需要锁,我就不给你普及了,就当做你是已经懂的了。

  我们知道,我们要进入一个同步、线程安全的方法时,是需要先获得这个方法的锁的,退出这个方法时,则会释放锁。如果获取不到这个锁的话,意味着有别的线程在执行这个方法,这时我们就会马上进入阻塞的状态,等待那个持有锁的线程释放锁,然后再把我们从阻塞的状态唤醒,我们再去获取这个方法的锁。

  这种获取不到锁就马上进入阻塞状态的锁,我们称之为重量级锁

自旋锁

  我们知道,线程从运行态进入阻塞态这个过程,是非常耗时的,因为不仅需要保存线程此时的执行状态,上下文等数据,还涉及到用户态内核态的转换。当然,把线程从阻塞态唤醒也是一样,也是非常消耗时间的。

  刚才我说线程拿不到锁,就会马上进入阻塞状态,然而现实是,它虽然这一刻拿不到锁,可能在下 0.0001 秒,就有其他线程把这个锁释放了。如果它慢0.0001秒来拿这个锁的话,可能就可以顺利拿到了,不需要经历阻塞/唤醒这个花时间的过程了。

  然而重量级锁就是这么坑,它就是不肯等待一下,一拿不到就是要马上进入阻塞状态。为了解决这个问题,我们引入了另外一种愿意等待一段时间的锁 --- 自旋锁

  自旋锁就是,如果此时拿不到锁,它不马上进入阻塞状态,而是等待一段时间,看看这段时间有没其他人把这锁给释放了。怎么等呢?这个就类似于线程在那里做空循环,如果循环一定的次数还拿不到锁,那么它才会进入阻塞的状态。

  至于是循环等待几次,这个是可以人为指定一个数字的。

自适应自旋锁

  上面我们说的自旋锁,每个线程循环等待的次数都是一样的,例如我设置为 100次的话,那么线程在空循环 100 次之后还没拿到锁,就会进入阻塞状态了。

  而自适应自旋锁就牛逼了,它不需要我们人为指定循环几次,它自己本身会进行判断要循环几次,而且每个线程可能循环的次数也是不一样的。而之所以这样做,主要是我们觉得,如果一个线程在不久前拿到过这个锁,或者它之前经常拿到过这个锁,那么我们认为它再次拿到锁的几率非常大,所以循环的次数会多一些。

  而如果有些线程从来就没有拿到过这个锁,或者说,平时很少拿到,那么我们认为,它再次拿到的概率是比较小的,所以我们就让它循环的次数少一些。因为你在那里做空循环是很消耗 CPU 的。

所以这种能够根据线程最近获得锁的状态来调整循环次数的自旋锁,我们称之为自适应自旋

轻量级锁

  上面我们介绍的三种锁:重量级、自旋锁和自适应自旋锁,他们都有一个特点,就是进入一个方法的时候,就会加上锁,退出一个方法的时候,也就释放对应的锁。

  之所以要加锁,是因为他们害怕自己在这个方法执行的时候,被别人偷偷进来了,所以只能加锁,防止其他线程进来。这就相当于,每次离开自己的房间,都要锁上门,人回来了再把锁解开。

  这实在是太麻烦了,如果根本就没有线程来和他们竞争锁,那他们不是白白上锁了?要知道,加锁这个过程是需要操作系统这个大佬来帮忙的,是很消耗时间的,。为了解决这种动不动就加锁带来的开销,轻量级锁出现了。

  轻量级锁认为,当你在方法里面执行的时候,其实是很少刚好有人也来执行这个方法的,所以,当我们进入一个方法的时候根本就不用加锁,我们只需要做一个标记就可以了,也就是说,我们可以用一个变量来记录此时该方法是否有人在执行。也就是说,如果这个方法没人在执行,当我们进入这个方法的时候,采用CAS机制,把这个方法的状态标记为已经有人在执行,退出这个方法时,在把这个状态改为了没有人在执行

之所以要用CAS机制来改变状态,是因为我们对这个状态的改变,不是一个原子性操作,所以需要CAS机制来保证操作的原子性。不知道CAS的可以看这篇文章:并发的核心:CAS 是什么?Java8是如何优化 CAS 的?

  显然,比起加锁操作,这个采用CAS来改变状态的操作,花销就小多了

  然而可能会说,没人来竞争的这种想法,那是你说的而已,那如果万一有人来竞争说呢?也就是说,当一个线程来执行一个方法的时候,方法里面已经有人在执行了。

  如果真的遇到了竞争,我们就会认为轻量级锁已经不适合了,我们就会把轻量级锁升级为重量级锁了。

  所以轻量级锁适合用在那种,很少出现多个线程竞争一个锁的情况,也就是说,适合那种多个线程总是错开时间来获取锁的情况。

偏向锁

  偏向锁就更加牛逼了,我们已经觉得轻量级锁已经够,然而偏向锁更加省事,偏向锁认为,你轻量级锁每次进入一个方法都需要用CAS来改变状态,退出也需要改变,多麻烦。

  偏向锁认为,其实对于一个方法,是很少有两个线程来执行的,搞来搞去,其实也就一个线程在执行这个方法而已,相当于单线程的情况,居然是单线程,那就没必要加锁了。

  不过毕竟实际情况的多线程,单线程只是自己认为的而已了,所以呢,偏向锁进入一个方法的时候是这样处理的:如果这个方法没有人进来过,那么一个线程首次进入这个方法的时候,会采用CAS机制,把这个方法标记为有人在执行了,和轻量级锁加锁有点类似,并且也会把该线程的 ID 也记录进去,相当于记录了哪个线程在执行。

  然后,但这个线程退出这个方法的时候,它不会改变这个方法的状态,而是直接退出来,懒的去改,因为它认为除了自己这个线程之外,其他线程并不会来执行这个方法。

  然后当这个线程想要再次进入这个方法的时候,会判断一下这个方法的状态,如果这个方法已经被标记为有人在执行了,并且线程的ID是自己,那么它就直接进入这个方法执行,啥也不用做

  你看,多方便,第一次进入需要CAS机制来设置,以后进出就啥也不用干了,直接进入退出。

  然而,现实总是残酷的,毕竟实际情况还是多线程,所以万一有其他线程来进入这个方法呢?如果真的出现这种情况,其他线程一看这个方法的ID不是自己,这个时候说明,至少有两个线程要来执行这个方法论,这意味着偏向锁已经不适用了,这个时候就会从偏向锁升级为轻量级锁。

  所以呢,偏向锁适用于那种,始终只有一个线程在执行一个方法的情况哦。

这里我作下说明,为了方便大家理解,我在将轻量级锁和偏向锁的时候,其实是简化了很多的,不然的话会涉及到对象的内部结构、布局,我觉得把那些扯出来,你们可能要晕了,所以我大致讲了他们的原理。

悲观锁和乐观锁

  最开始我们说的三种锁,重量级锁、自旋锁和自适应自旋锁,进入方法之前,就一定要先加一个锁,这种我们为称之为悲观锁。悲观锁总认为,如果不事先加锁的话,就会出事,这种想法确实悲观了点,这估计就是悲观锁的来源了。

  而乐观锁却相反,认为不加锁也没事,我们可以先不加锁,如果出现了冲突,我们在想办法解决,例如 CAS 机制,上面说的轻量级锁,就是乐观锁的。不会马上加锁,而是等待真的出现了冲突,在想办法解决。不知道 CAS 机制的,可以看我之前写的这篇文章哦:并发的核心:CAS 是什么?Java8是如何优化 CAS 的?

Volatile关键字介绍Volatile关键字介绍_summerZBH123的博客-CSDN博客_volatile简单描述

   简述:volatile是轻量级的synchronized,它在多处理器开发中保证了共享变量的“可见性”,可见性的意思是一个线程修改一个共享变量时,另一个线程可以读到这个修改的值,如果volatile使用恰当的话,它比synchronized的使用成本更低,因为它不会引起线程的上下文切换和调度。

在了解volatile关键字在java中的使用之前,我们需要先连接几个概念

 

java内存模型

    java内存模型规定所有的变量都存放在主内存当中,每个线程在执行的时候,会从主内存当中拷贝一份到自己的工作内存当中,线程对变量的读取,操作都是在工作内存当中执行的,不同线程之间也不能相互访问其他线程的工作内存,那么线程之间的变量传递需要通过主内存来实现共享。那么什么时候把修改过得变量更新到主内存当中去,就是多线程场景下需要解决的问题,否则将会造成数据的不一致。

    

而volatile关键字就是为了解决数据一致性的问题,通俗来说就是线程A对变量的修改,会直接刷新到主内存,线程B当中,在对变量进行读取的时候,发现变量是volatile关键字修饰的变量,直接放弃从工作内存当中读取,而是从主内存中读取

从上面的一段分析来看,volatile关键字是可以保证变量的一致性的,我们看下下面的这段代码

  1. public class Test {
  2. public volatile int inc = 0;
  3.  
  4. public void increase() {
  5. inc++;
  6. }
  7.  
  8. public static void main(String[] args) {
  9. final Test test = new Test();
  10. for(int i=0;i<10;i++){
  11. new Thread(){
  12. public void run() {
  13. for(int j=0;j<1000;j++)
  14. test.increase();
  15. };
  16. }.start();
  17. }
  18.  
  19. while(Thread.activeCount()>1) //保证前面的线程都执行完
  20. Thread.yield();
  21. System.out.println(test.inc);
  22. }
  23. }

Q:上述代码每次的执行结果都是1000吗?

A:不一定

虽然我们对变量使用了volatile关键字修饰,也保证了每次变量发生变化时,都会刷新到主内存,并且通知其他线程,你的工作内存当中这个缓存变量失效了,你要从主内存中获取最新的,那为什么还是会发生这个数据小于1000的情况呢?原因就是 i++这个操作不具有原子性,

我们假设线程A在正在执行i++这个操作,由于这个操作不是原子性的,如果线程A在执行i++这个操作过程中发生了阻塞,而i这个变量还没刷新到主内存中去,这个时候线程B也刚好要执行i++这个操作,那么线程B从主内存拿到的数据,就不是线程A中i++之后的数据,而且i++之前i的值,因此就会造成最终结果小于1000的这种情况。

那么什么是原子性操作?

    java当中原子性操作就是,要么执行成功,要么执行失败,不会存在执行过程中被中断,在java内存模型当中,只有读取元素,赋值(将指定的数值赋值如i=4)操作是原子性操作, 其他的操作基本上都不是原子性操作,如果想要实现大面积的原子性操作,建议是使用synchronized关键字或者lock加锁,这样就能保证同一段代码,在某一个时刻只有一个线程在访问。

内存可见性

       普通变量:对于读操作会先从工作内存当中读取,如果工作内存当中没有,会从主内存当中拷贝一份到工作内存,然后再进行读取,对于写操作,会直接操作工作内存当中的副本,什么时候写入到主内存中是不确定的,这种情况下,其他线程就无法获取到这个变量的最新值。

     volatile变量: 在读操作时,JMM会把工作内存当中的变量设置为无效,要求线程直接从主内存当中读取;写操作时,会把修改过的变量更新到主内存中去,其他线程就会拿到主内存当中地最新值。

关于指令重排序

    在执行程序时,为了提高性能,编译器和处理器常常会对指令做重排序,指令重排序分为以下三种

    1、编译器优化的重排序,编译器在不改变单线程语义的前提下,可以重新安排语句的执行顺序。

    2、指令级并行的重排序,如果数据之间不存在依赖性,处理器可以改变语句对应机器的执行顺序

    3、内存系统的重排序,由于处理器使用缓存和读/写缓存,这使得加载和存储操作看上去可能是乱序在执行。

java 源代码到最终执行指令序列,会分别经理以下三种重排序

源代码 -----》编译器优化重排序----》指令级并行重排序-----》内存系统重排序------》最终执行的重排序

关于指令重排序的一个例子

  1. public class RecordExample {
  2. int a = 0;
  3. boolean flag = false;
  4.  
  5. public void writer() {
  6. a = 1; // 1
  7. flag = true; // 2
  8. }
  9. public void reader() {
  10. if(flag){ //3
  11. int i = a * a; //4
  12. }
  13. }
  14. }

flag 是一个变量,用来标记a 是否已经被写入,假设有两个线程A和B,A线程执行writer()方法,然后B线程执行reader()方法,线程B在执行4 的时候,能否看到线程A在操作1 对变量的写入呢?

    不一定,由于操作1和操作2没有数据依赖关系,编译器和处理器可以对这两个操作进行重排序,同样,操作3和操作4也没有数据依赖关系(只有控制依赖关系,编译器和处理器会猜测执行和克服控制相关性对并行度的影响),编译器和处理器也可以对这两个操作进行重排序,

    下面我们来分析下不同场景下的操作结果

    情景一:线程A 先执行操作2,然后线程B 判断flag的值,为true,然后执行操作4,i的值等于0,然后线程A 执行操作2 ,这种情况下,我们的程序就出了问题

    情景二:线程B 先执行 a * a, 然后把计算的结果存放到一个名为重排序缓冲的硬件缓冲中,当操作3的判断为true ,再把计算结果写入到变量i当中。这个过程的执行顺序是: 线程B先计算 a*a 的值,然后线程A 执行writer方法,将a = 1,复制,然后修改flag的值,线程B 判断flag=true ,将之前计算好的数据,赋给i ,可以看出对操作3 和操作4进行了重排序

这时候我们再来看volatile关键字的作用,他会禁止对变量的重排序,这里其实是有两层意思

1、当程序在对volatile变量进行读或者写时,那么它前面的代码一定是执行完了,其结果对后面的操作是可见的

2、在进行指令优化时,不能对volatile变量的访问放在后面执行,也不能对volatile变量后面的变量访问放在前面执行

  1. //x、y为非volatile变量
  2. //flag为volatile变量
  3.  
  4. x = 2; //语句1
  5. y = 0; //语句2
  6. flag = true; //语句3
  7. x = 4; //语句4
  8. y = -1; //语句5

以上执行顺序,语句1、2一定会在语句3前面执行,语句4、5一定会在语句3前面执行,而语句1、2的执行顺序是不确定的

  1. //线程1:
  2. context = loadContext(); //语句1
  3. inited = true; //语句2
  4.  
  5. //线程2:
  6. while(!inited ){
  7. sleep()
  8. }
  9. doSomethingwithconfig(context);

对于以上代码,如果inited没有volatile修饰的话它的执行顺序可能是这样的

语句2的执行是在语句1 前面,这个时候线程2 拿到inited的值是true, 而loadContext并没有执行结束,

但是如果将inited 加上volatile关键字,语句1 一定是在语句2前面执行,线程2 在判断时,loadContext已经执行结束了

volatile的最佳实践

1、修改boolean类型的变量,来作为信号灯

  1. public class ServerHandler {
  2. private volatile isopen;
  3. public void run() {
  4. if (isopen) {
  5. //促销逻辑
  6. } else {
  7. //正常逻辑
  8. }
  9. }
  10. public void setIsopen(boolean isopen) {
  11. this.isopen = isopen
  12. }
  13. }

2、单例模式情况下,doubleCheck

  1. class Singleton{
  2. private volatile static Singleton instance = null;
  3.  
  4. private Singleton() {
  5.  
  6. }
  7.  
  8. public static Singleton getInstance() {
  9. if(instance==null) {
  10. synchronized (Singleton.class) {
  11. if(instance==null)
  12. instance = new Singleton();
  13. }
  14. }
  15. return instance;
  16. }
  17. }

对于Singleton这个变量为什么使用volatile修饰,因为new Singleton这个操作并不是原子的,它实际上执行了以下几个操作

1、给instance 分配内存

2、调用Singleton的init方法,实现参数的构建操作

3、将instance执向分配的内存

对于上面的操作,其执行顺序有可能是1-2-3,也有可能是1-3-2,如果是1-3-2,instance的值不为null,但是init方法还没有执行完,其他的线程在调用时,发现不为null, 直接返回,那就就会抛出异常。

volatile的内存语义

    1、线程A写入一个volatile变量,实质上是线程A向接下来将要读这个volatile变量的某个线程发出了(其对共享变量所做修改的)消息。

    2、线程B读一个volatile变量,实质上是线程B接收到了某个线程发出的(在写这个volatile变量之前对共享变量所做的修改的)消息

    3、线程A写一个volatile变量,随后线程B读这个volatile变量,这个过程实质上是线程A通过主内存向线程B发送消息。

volatile修饰的共享变量在进行汇编时,会多出来一个lock前缀,lock前缀在多核处理器下会引发两件事

1、当前处理器缓存行地数据写入到系统内存

2、这个写会内存的操作会使其他CPU里缓存了改地址的数据无效

    如果对声明了volatile的变量进行写操作,JVM就会向处理器发送一条Lock前缀的指令,将这个变量所在的缓存行的数据写会到主内存中。在多处理器下,为了保证各个处理器的缓存是一致的,就会实现缓存一致性协议,每个处理器通过嗅探在总线上传播的数据来检查自己的缓存的值是否过期,当处理器发现自己缓存行对应的内存地址被修改,就会将当前处理器的缓存设置成无效。

volatile内存语义的实现

    为了实现volatile的内存语义,编译器在生成字节码时,会在指令序列中插入内存屏障来禁止特定类型的处理器重排序。下面是JMM采取保守策略

    1、在每个volatile写操作的前面插入一个StoreStore屏障。

    2、在每个volatile写操作的后面插入一个StoreLoad屏障。

    3、在每个volatile读操作的后面插入一个LoadLoad屏障。

    4、在每个volatile读操作的后面插入一个LoadStore屏障。

针对上面屏障的作用我们分别来记录下,如果代码流程是这样子的

            普通读

                |

            普通写

                |

            StoreStore屏障(禁止上面的普通写和volatile写重排序)

                |

            volatile写

                |

            StoreLoad屏障 (防止volatile写与下面的可能有的volatile读/写重排序)

总结来说就是:StoreStore屏障保证volatile写之前,前面的普通读写已经对任意处理器可见,storeLoad屏障是避免当前volatile写与后面可能有的volatile读/写指令重排序。因为编译器不能判断,在执行完volatile之后是否需要插入一个StoreLoad屏障,为了实现volatile的内存语义,JMM采取了保守策略:在每个volatile写后面,或者在volatile读前面插入StoreLoad屏障,由于比较常见的模式是:一个线程写volatile变量,多个线程读同一个volatile变量。因此选择在写入之后,插入一个StoreLoad屏障,来提升效率。

在保守策略下:volatile读插入内存屏障后生成的指令序列图是

                volatile读

                        |

                LoadLoad屏障(禁止下面所有的普通读操作和上面的volatile读重排序)

                        |

                LoadStore屏障(禁止下面所有的普通写操作和上面的volatile读重排序)

                        |

                   普通读

                        |

                  普通写

在实际执行过程中,只要不改变volatile写-读的内存语义,编译器可以根据实际情况省略掉不必要的屏障。

参考:Java并发编程:volatile关键字解析

            java volatile关键字解惑

            《java并发编程的艺术》

 

 
 
 
posted @ 2021-12-12 22:43  CharyGao  阅读(50)  评论(0)    收藏  举报