CPU 架构
{Back to Index}
Table of Contents
1 L1/L2 缓存
Figure 1: CPU 物理核架构
L1 和 L2 缓存是每个物理核 私有的 ，当数据或指令保存在 L1，L2 缓存时，物理核访问它们的延迟 不超过 10 纳秒 ，速度非常快。
2 L3 缓存
L1 和 L2 缓存的大小受限于处理器的制造技术，一般只有 KB 级别，存不下太多的数据。如果 L1、L2 缓存中没有所需的数据，应用程序就需要访问内存来获取数据。而应用程序的访存延迟一般在 百纳秒 级别，是访问 L1、L2 缓存的延迟的近 10 倍，不可避免地会对性能造成影响。
所以，不同的物理核还会 共享 一个共同的三级缓存。L3 缓存能够使用的存储资源比较多，所以一般比较大， 能达到几 MB 到几十 MB ，这就能让应用程序缓存更多的数据。当 L1、L2 缓存中没有数据缓存时，可以访问 L3，尽可能避免访问内存。
3 逻辑核
另外，主流的 CPU 处理器中，每个物理核通常都会运行两个 超线程 ，也叫作逻辑核。 同一个物理核的逻辑核会共享使用 L1、L2 缓存。
Figure 2: 物理核和逻辑核，以及一级、二级缓存的关系
4 NUMA
CPU 处理器也称为 Socket ，在主流的服务器上，一个 Socket 会有 10 到 20 多个物理核。同时，为了提升服务器的处理能力， 服务器上通常会有多个 Socket，每个 Socket 有物理核（包括 L1、L2 缓存），L3 缓存，以及 连接的内存 ，同时，不同处理器间 通过总线连接 。
Figure 3: NUMA 架构
在多 CPU 架构上，应用程序可以在不同的处理器上运行。比如上图中应用程序可以先在 Socket 1 上运行一段时间，然后再被调度到 Socket 2 上运行。
如果应用程序先在一个 Socket 上运行，并且把数据保存到了内存，然后被调度到另一个 Socket 上运行，此时，应用程序再进行内存访问时，就需要访问之前 Socket 上连接的内存，这种访问属于 远端内存访问 。和访问 Socket 直接连接的内存相比， 远端内存访问会增加应用程序的延迟 。
在 NUMA 架构下，经常发生某一个节点内存不够，但其他节点内存充足的情况下，依旧使用到了 Swap ，进而导致软件性能急剧下降的例子。 这通常是因为 CPU Socket 对应的内存不够了，但它 可能不会去另一个节点申请内存 。（可以通过配置操作系统内存回收策略改变这种行为：本节点回收内存/其他节点申请内存/内存数据换到 Swap 的倾向程度）