并发编程与线程安全（1）：并发基础知识

参考视频：慕课网【Java并发编程与高并发解决方案】
参考笔记：https://blog.csdn.net/qq_28867949/article/details/80045280

代码地址：node_concurrency

[TOC]

第1章 课程准备

1-1 课程导学

并发编程&高并发解决方案

1-2 并发编程初体验

问题引入：计数功能，同一时间多个进程同时对一个变量计数（并发）,计数会变少（for5000次的结果会小于5000）。

1-3 并发与高并发基本概念

Code

并发：
同时拥有两个或者多个线程，如果程序在单核处理器上运行多个线程将交替地换入或者换出内存，这些线程是
同时“存在”的，每个线程都处于执行过程中的某个状态，如果运行在多核处理器上，此时，程序中的每个线程都
将分配到一个处理器核上，因此可以同时运行。

Code

高并发: 
高并发( High Concurrency) 是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计
保证系统能够"同时并行处理"很多请求

Code

对比：
并发：多个线程操作相同的资源，保证线程安全，合理使用资源
高并发：服务能同时处理很多请求，提高程序性能

第2章 并发基础

2-1 CPU多级缓存-缓存一致性

多级缓存

Code

    数据的读取和存储都经过高速缓存，CPU核心与高速缓存有一条特殊的快速通道。主存与高速缓存都是连接
在系统总线上（Bus），这条总线同时还用于其他组件的通信...
    在高速缓存出现后不久，系统变得愈加复杂，高速缓存与主存之间的速度差异被拉大，直到加入了另一级
缓存（L2 Cache），新加入的这级缓存比第一缓存更大、更慢。由于加大缓存的方法从经济利益的角度考虑是
行不通的，所以这才有了二级缓存，甚至现在有些系统拥有三级缓存。

"左图为高速缓存 右图为多级缓存"

Code

CPU高速缓存（英语：CPU Cache，在本文中简称缓存）是用于减少处理器访问内存所需平均时间的部件。
在金字塔式存储体系中它位于自顶向下的第二层，仅次于CPU寄存器。其容量远小于内存，但速度却可以接近处
理器的频率。

为什么需要CPU Cache？

Code

CPU 的频率太快了，快到主存跟不上，这样在处理器时钟周期内，CPU常常需要等待主存，浪费资源。
所以cache 的出现，是为了缓解 CPU 和内存之间速度的不匹配问题
结构：cpu-> cache-> memory).

CPU Cache有什么意义？

Code

1) 时间局部性：如果某个数据被访问，那么在不久的将来它很可能被再次访问
2) 空间局部性：如果某个数据被访问，那么与它相邻的数据很快也可能被访问

---

缓存一致性（MESI）

Code

处理器上有一套完整的协议，来保证Cache一致性。比较经典的Cache一致性协议当属MESI协议，奔腾处理器有使用它，很多其他的处理器都是使用它的变种。

单核Cache中每个Cache line有2个标志：dirty和valid标志，它们很好的描述了Cache和Memory(内存)之间的数据关系(数据是否有效，数据是否被修改)，而在多核处理器中，多个核会共享一些数据，MESI协议就包含了描述共享的状态。

Code

M: Modified 修改，指的是该缓存行只被缓存在该CPU的缓存中，并且是被修改过的，因此他与主存中的数据是不一致的，该缓存行中的数据需要在未来的某个时间点（允许其他CPU读取主存相应中的内容之前）写回主存，然后状态变成E（独享）
E：Exclusive 独享 缓存行只被缓存在该CPU的缓存中，是未被修改过的，与主存的数据是一致的，可以在任何时刻当有其他CPU读取该内存时，变成S（共享）状态，当CPU修改该缓存行的内容时，变成M（被修改）的状态
S：Share 共享，意味着该缓存行可能会被多个CPU进行缓存，并且该缓存中的数据与主存数据是一致的，当有一个CPU修改该缓存行时，其他CPU是可以被作废的，变成I(无效的)
I：Invalid 无效的，代表这个缓存是无效的，可能是有其他CPU修改了该缓存行

Code

M(Modified)和E(Exclusive)状态的Cache line，数据是独有的，不同点在于M状态的数据是dirty的(和内存的不一致)，E状态的数据是clean的(和内存的一致)。

S(Shared)状态的Cache line，数据和其他Core的Cache共享。只有clean的数据才能被多个Cache共享。
I(Invalid)表示这个Cache line无效。

CPU多级缓存-缓存一致性（MESI）
具体相关概念参考博客:https://blog.csdn.net/qq_28867949/article/details/79991422

Code

在MESI协议中，每个Cache的Cache控制器不仅知道自己的读写操作，而且也监听(snoop)其它Cache的读写
操作。每个Cache line所处的状态根据本核和其它核的读写操作在4个状态间进行迁移。

Code

local read：读本地缓存的数据
local write：将数据写到本地缓存里面
remote read：将内（主）存中的数据读取到缓存中来
remote write：将缓存中的数据写会到主存里面

Code

"补充说明："
    对于各级的Cache，访问速度是不同的，理论上说L1 Cache（一级缓存）有着跟CPU寄存器相同的速度，
但L1 Cache有一个问题，当需要同步Cache和内存之间的内容时，需要锁住Cache的某一块（"术语是Cache
 line"），然后再进行Cache或者内存内容的更新，这段期间这个Cache块是不能被访问的，所以L1 Cache
的速度就没寄存器快，因为它会频繁的有一段时间不可用。
    L1 Cache下面是L2 Cache，甚至L3 Cache，这些都有跟L1 Cache一样的问题，要加锁，同步，并且
L2比L1慢，L3比L2慢，这样速度也就更低了。

理解16种状态参见上述链接

总结：每个核都拥有自己的缓存，缓存一致性保证了多核存取共享数据时数据一致

2-2 CPU多级缓存-乱序执行优化

Code

"什么是乱序执行优化"：处理器为提高运算速度而做出违背代码原有顺序的优化。

例如：计算 result = a*b
     原本我们的预期顺序是：     a=10 --> b=200 --> result=a*b
     实际上乱序优化后的实际顺序：b=200 --> a=10 --> result=a*b
"结论：处理器这样优化的结果来看，得到结果不会偏离预期目标！！！
      但是,当在多个环境下却并非如此。"

Code

    处理器为提高运算速度而做出违背代码原有顺序的优化。当然了在正常情况下是不对结果造成影响的。在
单核时代处理器对结果的优化保证不会远离预期目标，但是在多核环境下却并非如此。为什么这么说呢？首先，
在多核条件下会有多个核执行指令，因此每个核的指令都有可能会乱序。另外处理器还引入了L1、L2缓存机
制，这就导致了逻辑上后写入的数据不一定最后写入。

    这就导致的一个问题，如果我们不做任何处理，实际结果可能和逻辑运行结果大不相同。在一个核上记录
一个标志表示数据已经准备完毕，在另一个核上来判断这个数据是否已经就绪，这时候就会存在风险。标记位先
被写入，但是实际的操作缺并未完成，这个未完成既有可能是没有计算完成，也有可能是缓存没有被及时刷新到
主存之中，使得其他核读到了错误的数据。

总结：乱序执行优化，在多核条件下，会导致数据错误

2-3 JAVA内存模型（JMM）

Code

    为了屏蔽掉各种系统硬件和操作系统的内存访问差异，以实现Java程序在各大平台都能达到一致的并发效
果，Java虚拟机因此定义了Java内存模型，它规范了Java虚拟机与计算机是如何协同工作的。

    它规定了一个线程如何看到或者共享其他线程一个共享变量的值，以及必须时，如何同步的访问共享变
量。

JAVA内存模型规范（即它的作用）

Code

1. 规定了一个线程如何和何时可以看到其他线程修改过后的共享变量的值
2. 如何以及何时同步的访问共享变量

JAVA内存模型：

Code

Heap(堆)：Java里的堆是一个运行时的数据区，堆是由垃圾回收来负责的，堆的优势是可以动态的分配内存大
         小，生存期也不必事先告诉编译器，他是在运行时动态分配内存的，Java的垃圾回收器会定时收走
         不用的数据，
    缺点：由于要在运行时动态分配，所有存取速度可能会慢一些

Stack(栈)：栈的优势是存取速度比堆要快，仅次于计算机里的寄存器，栈的数据是可以共享的，
     缺点：是存在栈数据的大小与生存期必须是确定的，缺乏一些灵活性栈中主要存放一些基本类型的
          变量，比如:int、short、long、bytedouble、float、boolean、char、对象句柄，

    Java内存模型要求调用栈和本地变量存放在线程栈（Thread Stack）上，对象存放在堆上。
    一个本地变量可能存放一个对象的引用，这时引用变量存放在本地栈上，但是对象本身存放在堆上
    成员变量跟随着对象存放在堆上，而不管是原始类型还是引用类型，静态成员变量跟随着类的定义一起存在在堆上

    存在堆上的对象，可以被持有这个对象的引用的线程访问
    如果两个线程同时访问同一个对象的私有变量，这时他们所拥有的是"这个对象的私有拷贝"("重要")

计算机硬件架构的简单图示

Code

"CPU："一个计算机一般有多个CPU，一个CPU还会有多核。因此意味着每个cpu可能都会运行一个线程，所以计算
    机出现多线程是很有可能的。

"CPU Registers（寄存器）："每个CPU都包含一系列的寄存器，他们是CPU内存的基础，CPU在寄存器上执行的
        速度远大于在主存上执行的速度，这是因为计算机访问寄存器的速度远大于主存。

"CPU Cache（高速缓存）："由于计算机的存储设备与处理器的处理设备有着几个数量级的差距，所以现代计
    算机都会加入一层读写速度与处理器处理速度接近相同的高级缓存来作为内存与处理器之间的缓冲，将运
    算使用到的数据复制到缓存中，让运算能够快速的执行，当运算结束后，再从缓存同步到内存之中，这
    样，CPU就不需要等待缓慢的内存读写了主（内）存：一个计算机包含一个主存，所有的CPU都可以访问主
    存，主存比缓存容量大的多（CPU访问缓存层的速度快于访问主存的速度！但通常比访问内存寄存器的速度还是要慢点）

"运作原理："通常情况下，当一个CPU要读取主存（RAM - Main Mernory）的时候，他会将主存中的数据读
        取到CPU缓存中，甚至将缓存内容读到内部寄存器里面，然后再寄存器执行操作，当运行结束后，会
        将寄存器中的值刷新回缓存中，并在某个时间点将值刷新回主存

JAVA内存模型与硬件架构之间的关联

Code

每个线程之间共享变量都存放在主内存里面，每个线程都有一个私有的本地内存
本地内存是Java内存模型中抽象的概念，并不是真实存在的（他涵盖了缓存写缓冲区。寄存器，以及其他硬件的优化）
本地内存中存储了以读或者写共享变量的拷贝的一个副本

从一个更低的层次来说，线程本地内存，他是CPU缓存，寄存器的一个抽象描述，而JVM的静态内存存储模型，
他只是一种对内存模型的物理划分而已，只局限在内存，而且只局限在JVM的内存

如果线程A和线程B要通信，必须经历两个过程：
1、A将本地内存变量刷新到主内存
2、B从主内存中读取变量

• 举例

• 下面对上面的描述举个例子。假设主内存的变量为1，线程A、B同时读取，线程A从主内存得到变量值为1，然后存储到自己的本地内存，之后进行+1的操作，最后写回主内存变为2。其实B的操作也是一样的。线程B并不是等线程A写回主内存之后再开始操作的，它们之间不可见的，因此当线程B操作完成将结果2写回主内存时计数就出现了错误，所以需要引入同步的手段保证并发准确性。

---

Java内存模型 - 八种同步操作

Code

1.Lock（锁定）：作用于主内存的变量，把一个变量标识变为一条线程独占状态
2.Unlock（解锁）：作用于主内存的变量，把一个处于锁定状态的变量释放出来，释放后的变量才可以被其他线程锁定
3.Read（读取）：作用于主内存的变量，把一个变量值从主内存传输到线程的工作内存中，以便随后的load动作使用
4.Load（载入）：作用于工作内存的变量，它把Read操作从主内存中得到的变量值放入工作内存的变量副本中
5.Use（使用）：作用于工作内存的变量，把工作内存中的一个变量值传递给执行引擎
6.Assign（赋值）：作用于工作内存的变量，它把一个从执行引擎接受到的值赋值给工作内存的变量
7.Store（存储）：作用于工作内存的变量，把工作内存中的一个变量的值传送到主内存中，以便随后的write的操作
8.Write（写入）：作用于主内存的变量，它把Store操作从工作内存中一个变量的值传送到主内存的变量中

Java内存模型 - 同步规则

Code

1.如果要把一个变量从主内存中赋值到工作内存，就需要按顺序得执行read和load操作，如果把变量从工作内
    存中同步回主内存中，就要按顺序得执行store和write操作，但java内存模型只要求上述操作必须按顺
    序执行，没有保证必须是连续执行,也就是说Read和Load、Store和Write之间是可以插入其他指令的
2.不允许read和load、store和write操作之一单独出现
3.不允许一个线程丢弃他的最近assign的操作，即变量在工作内存中改变了之后必须同步到主内存中
4.不允许一个线程无原因地（也就是说必须有assgin操作）把数据从工作内存同步到主内存中
5.一个新的变量只能在主内存中诞生，不允许在工作内存中直接使用一个未被初始化（load或assign）的变
    量。即就是对一个变量实施use和store操作之前，必须先执行过了load和assign操作
6.一个变量在同一时刻只允许一条线程对其进行lock操作，但lock操作可以同时被一条线程重复执行多次，多
    次执行lock后，只有执行相同次数的unlock操作，变量才会解锁，lock和unlock必须成对出现
7.如果一个变量执行lock操作，将会清空工作内存中此变量的值，在执行引擎中使用这个变量前需要重新执行
    load或assign操作初始化变量的值
8.如果一个变量事先没有被lock操作锁定，则不允许他执行unlock操作，也不允许去unlock一个被其他线程
    锁定的变量
9.对一个变量执行unlock操作之前，必须先把此变量同步到主内存中（其实就是执行store和write操作之后）

2-4 并发的优势与风险

并发的优势：

• 速度：

  • 系统可以同时处理多个请求，等待的时间变短，那么相应的响应更快；
  • 另一方面，复杂的操作可以分成多个进程同时进程；

• 设计：

  • 总结：程序设计在某些情况下更简单，也可以有更多的选择
  • 举例：我们有一个应用程序需要从本地系统中读取和处理两个文件，如果你想编写程序，读取和处理数据的时候，你就必须记录哪个文件的读取和处理的状态。相反，如果你使用多线程并发处理，你就可以启动两个线程，每一个线程读取和处理一个文件的读取和操作，线程会在磁盘读取文件的过程中被阻塞，在等待的时候，其他的线程能够使用CPU去处理已经读取完的文件，其结果就是，磁盘总是繁忙的读取文件到内存中，这回带来磁盘和CPU利用率的提升，而且每个线程只需要记录一个文件，因此这个方式也很容易被编程实现。

• 资源利用：

  • CPU能够在等待IO的时候做一些其他的事情
  • 举例：依然是上面的例子，当个应用程序从本地系统中读取和处理文件，从磁盘中读取文件的时候呢，大部分的CPU，时间都用于等待磁盘去读取数据，在这段时间里CPU非常的空闲。它可以做许多事情，通过改变操作顺序更高的利用CPU资源。（这里所说的IO可以是磁盘的IO、网络的IO、或者是用户输入，通常情况下：网络和磁盘的IO比CPU和内存的IO慢很多）

并发的风险：

• 安全性

  • 总结：多个线程共享数据时可能会产生于期望不相符的结果

• 活跃性

  • 总结：某个操作无法继续进行下去时，就会发生活跃性问题。比如死锁、饥饿等问题…
  • 比如：我们已经知道了，多个线程共享数据时会产生于期望不符的结果，因此我们就会尝试通过加锁等方式来保证我们得到的结果能够符合预期。这个时候呢如果加锁、解锁操作不当、或者有什么异常情况发生，这个时候可能就会引发死锁。

• 性能

  • 总结：线程过多时会使得：CPU 频繁切换，调度时间增多；同步机制；消耗过多内存
  • 说明1：当 CPU 调度不同线程时，它需要更新当前执行线程的数据，程序指针，以及下一个线程的相关信息。这种切换会有额外的时间、空间消耗，我们在开发中应该避免频繁的线程切换。
  • 说明2：多环境情况下必须使用同步机制，这导致了很多编译器想做的优化被抑制。线程过多还会消耗过多内存