原来 CPU 为程序性能优化做了这么多

本文主要来学习内存屏障和 CPU 缓存知识,以便于我们去领会 CPU 对程序性能优化做了哪些起劲。

首先来看下 CPU 缓存:

CPU 缓存

CPU 缓存是为了提高程序运行的性能,CPU 在许多处置上内部架构做了许多调整,好比 CPU 高速缓存,人人都知道由于硬盘很慢,可以通过缓存把数据加载到内存内里,提高接见速率,而 CPU 处置也有这个机制,尽可能把处置器接见主内存时间开销放在 CPU 高速缓存上面,CPU 接见速率相比内存接见速率又要快好多倍,这就是现在大多数处置器都会去行使的机制,行使处置器的缓存以提高性能。

原来 CPU 为程序性能优化做了这么多

多级缓存

CPU 的缓存分为三级缓存,所以说多核 CPU 会有多个缓存,我们首先来看下一级缓存(L1 Cache):

L1 Cache 是 CPU 第一层高速缓存,分为数据缓存和指令缓存,一样平常服务器 CPU 的 L1 缓存的容量通常在 32-4096 KB。

由于 L1 级高速缓存容量的限制,为了再次提高 CPU 的运算速率,在 CPU 外部放置-高速存储器,即二级缓存(L2 Cache)。

由于 L1L2 的容量照样有限,因此提出了三级缓存,L3 现在的都是内置的,它的现实作用即是,L3 缓存的应用可以进一步降低内存延迟,同时提升大数据量计算时处置器的性能,具有较大 L3 缓存的处置器提供更有用的文件系统缓存行为及较短新闻和处置器行列长度,一样平常是多核共享一个 L3 缓存。

CPU 在读取数据时,先在 L1 Cache 中寻找,再从 L2 Cache 寻找,再从 L3 Cache 寻找,然后是内存,再后是外存储器硬盘寻找。

如下图所示,CPU 缓存架构中,缓存层级越靠近 CPU core,容量越小,速率越快。CPU Cache 由若干缓存行组成,缓存行是 CPU Cache 中的最小单元,一个缓存行的巨细通常是 64 字节,是 2 的倍数,差别的机械上为 32 到 64 字节不等,而且它有用地引用主内存中的一块地址。

原来 CPU 为程序性能优化做了这么多

多 CPU 读取同样的数据举行缓存,举行差别运算之后,最终写入主内存以哪个 CPU 为准?这就需要缓存同步协议了:

缓存同步协议

在这种高速缓存回写的场景下,有许多 CPU 厂商提出了一些公共的协议-MESI 协议,它划定每条缓存有个状态位,同时界说了下面四个状态:

  • 修改态(Modified):此 cache 行已被修悔改(脏行),内容已差别于主存,为此 cache 专有;
  • 专有态(Exclusive):此 cache 行内容同于主存,但不泛起于其它 cache 中;
  • 共享态(Shared):此 cache 行内容同于主存,但也泛起于其它 cache 中;
  • 无效态(Invalid):此 cache 行内容无效(空行)。

多处置器,单个 CPU 对缓存中数据举行了改动,需要通知给其它 CPU,也就是意味着,CPU 处置要控制自己的读写操作,还要监听其他 CPU 发出的通知,从而保证最终一致

运行时的指令重排

CPU 对性能的优化除了缓存之外另有运行时指令重排,人人可以通过下面的图领会下:

NodeMCU入坑指南-烧写固件并连接WIFI

原来 CPU 为程序性能优化做了这么多

好比图中有代码 x = 10;y = z;,这个代码的正常执行顺序应该是先将 10 写入 x,读取 z 的值,然后将 z 值写入 y,现实上真实执行步骤,CPU 执行的时刻可能是先读取 z 的值,将 z 值写入 y,最后再将 10 写入 x,为什么要做这些修改呢?

由于当 CPU 写缓存时发现缓存区正被其他 CPU 占用(例如:三级缓存),为了提高 CPU 处置性能,可能将后面的读缓存下令优先执行

指令重排并非随便重排,是需要遵守 as-if-serial 语义的,as-if-serial 语义的意思是指不管怎么重排序(编译器和处置器为了提高并行度),单线程程序的执行效果不能被改变。编译器,runtime 和处置器都必须遵守 as-if-serial 语义,也就是说编译器和处置器不会对存在数据依赖关系的操作做重排序

那么这样就会有如下两个问题:

  1. CPU 高速缓存下有一个问题:

缓存中的数据与主内存的数据并不是实时同步的,各 CPU(或 CPU 焦点)间缓存的数据也不是实时同步。在统一个时间点,各 CPU 所看到统一内存地址的数据的值可能是不一致的

  1. CPU 执行指令重排序优化下有一个问题:

虽然遵守了 as-if-serial语义,仅在单 CPU 自己执行的情况下能保证效果准确。多核多线程中,指令逻辑无法分辨因果关联,可能泛起乱序执行,导致程序运行效果错误。

若何解决上述的两个问题呢,这就需要谈到内存屏障

内存屏障

处置器提供了两个内存屏障(Memory Barrier) 指令用于解决上述两个问题:

写内存屏障(Store Memory Barrier):在指令后插入 Store Barrier,能让写入缓存中的最新数据更新写入主内存,让其他线程可见。强制写入主内存,这种显示挪用,CPU 就不会由于性能思量而去对指令重排。

读内存屏障(Load Memory Barrier):在指令前插入 Load Barrier,可以让高速缓存中的数据失效,强制重新的主内存加载数据。强制读取主内存内容,让 CPU 缓存与主内存保持一致,避免了缓存导致的一致性问题。

Java 中也有类似的机制,好比 Synchronizedvolatile 都采用了内存屏障的原理。

总结

本文主要先容了在提高程序运行性能上,CPU 作出了哪些优化:缓存和运行时指令重排,最后还先容了内存屏障相关知识。

参考

http://dwz.win/7ps

原创文章,作者:admin,如若转载,请注明出处:https://www.2lxm.com/archives/3232.html