NUMA 与异构内存管理

• NUMA 的 CPU 与内存节点绑定
• 本地/远程访存的差异
• 数据库与 JVM 的 NUMA 感知需求

在 NUMA 架构中，系统被划分为多个 node，每个 node 包含一组 CPU 核与一段本地内存，CPU 访问本 node 内存（本地访问）延迟低、带宽高，访问其他 node 的内存（远程访问）需经过互连（如 UPI、QPI、CXL 等）转发，延迟更高、带宽更低且可能争用互连带宽。因此"数据在哪个 node 上、由哪个 node 的 CPU 访问"直接决定性能。数据库与 JVM 需要 NUMA 感知是因为：它们通常持有大内存区（如 buffer pool、JVM 堆），若这些内存被远程访问，会显著增加延迟、降低吞吐；此外它们内部有大量并发线程与分区结构，通过 NUMA 感知（把内存绑定到执行线程所在 node、把 hot 数据放本地）能最大化本地命中率、减少跨 node 访问，从而提升性能。这也解释了为什么大型数据库/JVM 部署常配合 numactl、内存绑定与 NUMA-aware 的内存分配策略。

NUMA 的本质是"访存延迟与带宽受 node 位置影响"，数据库与 JVM 的大内存、高并发特性放大了这种影响，因此需要显式 NUMA 感知来布局数据与线程。

• numactl --hardware 的拓扑探测
• numastat 的 node 访问统计
• 多 node 内存分布的解读

numactl --hardware 输出系统的 NUMA 拓扑：可用的 node 数量、每个 node 的 CPU 列表、每个 node 的内存大小与 distance 矩阵（node 间距离），它告诉我们"哪些 CPU 离哪个 node 近、内存如何分布"。numastat 则显示各 node 的访问统计（如 node_hit、node_miss、并以本地/远程比例呈现），若某 node 的 miss 高或被远程访问多，说明跨 node 访存严重。解读进程内存分布时，可用 numastat -p 查看进程内存落在哪些 node、numactl --membind 查看绑定策略；若进程内存分布在多个 node 且工作线程固定在某些 node，需检查是否出现"远程访问"——即线程在 node A 而数据在 node B 频繁访问。解读要点是：本地命中率越高越好，跨 node 访问占比高通常意味着需要调整内存绑定或 CPU 亲和性。

diagnostics 的关键是"本地 vs 远程"量化：numactl --hardware 给拓扑，numastat 给访问统计，二者结合能定位"数据与线程错位"导致的跨 node 开销。

• migrate_pages 的显式迁移
• NUMA balancing 的自动迁移
• 抖动控制与阈值调优

页迁移有两种方式：显式的 migrate_pages 系统调用（应用/管理员主动把页从 node A 迁到 node B）与 NUMA balancing 的内核自动迁移。NUMA balancing 通过周期性采样页表 hint 位检测访问模式，当某页的访问集中在某个 node 时，把它迁移到该 node。触发阈值可调优：numa_balancing_scan_size 控制每轮扫描页数、numa_balancing_scan_period 控制扫描周期、numa_balancing_scan_rate 控制扫描速率，值越大迁移越积极但开销越大。迁移抖动（migration thrashing）是指页在 node 间频繁来回迁移，浪费迁移带宽且无收益。为控制抖动，内核会记录页的迁移历史与访问稳定性，只有当页的访问模式稳定偏向某 node 时才迁移，避免因访问模式的短暂波动而反复迁移；同时通过调节扫描速率与迁移阈值，让迁移"慢半拍"，只在充分证据下才迁移。调优目标是平衡"迁移收益"与"迁移开销/抖动"。

migrate 的收益来自"把页搬到数据所在 node"，代价是"迁移本身消耗带宽 + 抖动"，调优的关键是让内核只在"访问模式稳定、收益明确"时才迁移，用阈值与速率控制积极性。

• first-touch 分配策略
• 缺页时按当前 CPU 的 node 分配
• 初始化方式决定内存落点

Linux 默认采用 first-touch（首次触碰）分配策略：当一个进程首次访问某页触发缺页时，内核把物理页分配在"触发缺页的 CPU 所在 node"，而不是在 mmap 时预先分好。这样内存的物理位置由"谁先访问"决定。因此应用初始化方式直接决定内存分布：如果初始化时所有线程都在同一个 node 的 CPU 上填充数组，则整个数组都落在该 node；若初始化时线程分散在不同 node、且各自触碰自己负责的部分，则各部分内存分散落到对应 node，实现"data 与访问它的线程同 node"的均衡。相反，若初始化在一个 node 上顺序填充、但后续由其他 node 的线程访问，就会产生大量远程访问。工程上要利用 first-touch：让初始化线程与运行线程的 node 亲和性一致，或按 node 分区初始化，使内存落在正确 node。

first-touch 的意思是"内存归属由第一个触碰者决定"，它让"合理初始化"天然产生本地访问，但也会让"错误初始化"固定成远程访问，所以初始化方式对 NUMA 性能至关重要。

• 周期性 pte 标记 hint 位
• 缺页采样记录访问 node
• 依据访问模式迁移

autoNUMA 通过两个阶段检测访问模式：1) 周期性标记——内核定期把目标页的 PTE 设置为"特殊 hint 状态"（如清除 accessed 位并采样），使下一次访问该页会触发缺页（page fault）；2) 缺页采样——在缺页处理中记录"该页被哪个 CPU 的 node 访问"（per-node 的访问计数），并清除 hint 状态恢复正常映射。这样内核通过周期性采样收集"哪页被哪个 node 频繁访问"的信息。当检测到某页的访问集中在某个 node，且该 node 与页当前所在的 node 不同时，内核判断跨 node 访问严重，就触发页迁移（migrate_pages）把页搬到访问集中的 node。整个过程用"周期性标记 + 缺页采样 → 统计 → 迁移"形成闭环，兼顾了检测的准确性（基于真实访问）与开销的可控性（抽样而非全扫）。

autoNUMA 的本质是"用代价可控的缺页采样代替全量监控"，把访问模式变成可统计的 per-node 计数，再据此决定是否迁移，实现了自动的本地化。

• two-stage migration 的两阶段迁移
• scan_rate 对扫描开销的影响
• 收益与开销的权衡

two-stage migration 指 NUMA balancing 分两步迁移：第一阶段先把页迁移到"访问它的进程 CPU 所在 node"（task-based），第二阶段再按更精细的访问模式（如进程内各线程的访问）做进一步调整，两阶段由粗到细，降低单次激进迁移带来的抖动。页扫描速率（numa_balancing_scan_rate）控制内核每轮扫描的页数/速率：速率越高，检测越及时、迁移越主动，但 CPU 扫描开销与缺页采样开销越大；速率越低，开销小但检测滞后，可能让跨 node 访问长期存在。权衡的关键是：在"迁移带来的本地化收益"与"扫描+迁移开销"之间取平衡——对访问模式稳定的负载，可适当提高速率获得收益；对频繁变化或迁移代价高的负载，需降低速率避免抖动与带宽浪费。工程上通过调节 scan_rate 与迁移阈值，让迁移收益超过开销。

two-stage 是"粗粒度先定位、细粒度再精调"的迁移策略，scan_rate 是"检测频率"的旋钮，二者共同决定自动化在"积极"与"保守"之间的位置。

• bind 的节点绑定分配
• interleave 的轮询分配
• 与自动均衡的取舍

numactl --membind 把内存分配限制在指定 node，适合"数据访问与某 node 的线程强绑定"的场景（如固定线程的数据库、分区明确的数据集），保证本地访问确定性；numactl --interleave 把内存按轮询方式均匀分配到多个 node，适合"多 node 线程并发访问、难以预知数据归属"的场景，如大数组被多 node 线程交错访问，interleave 能让带宽分布到多个 node 的内存控制器，避免单 node 带宽瓶颈。自动均衡（NUMA balancing）则让内核根据实时访问动态迁移，适合"访问模式动态变化、需自适应"的负载。取舍在于：bind 提供确定性与可预测性但僵化，interleave 均衡带宽但会让单线程访问变远，自动均衡灵活但需承担采样与迁移开销——工程上按负载特征选择：静态/强绑定用 bind，均匀并发用 interleave，动态变化用自动均衡。

bind 是"确定性本地化"，interleave 是"带宽均衡化"，自动均衡是"动态自适应"，选择取决于数据访问模式是固定、均匀还是动态。

• 本地/远程访存差异
• buffer pool 的布局
• JVM 堆的 NUMA 影响

NUMA 下本地访存延迟低、带宽高，远程访存需经互连、延迟高且带宽受限。数据库 buffer pool 若被远程 node 频繁访问，每次 buffer 命中都要付出远程延迟，且多个 node 并发访问同一段 buffer 会争用互连带宽，显著降低 CPT/Latency；因此数据库常把 buffer pool 分区（buffer pool partition）并绑定到各 node 的线程，让每个 node 的线程访问本地 buffer，最大化本地命中。JVM 堆同理：堆是所有线程共享的大内存，若堆分布在多个 node 而 GC 线程与分配线程在特定 node，会引发跨 node 访问；JVM 的 NUMA-aware 分配（如 -XX:+UseNUMA）把堆的年轻代/老年代按 node 划分，让每个 node 的线程在本地 node 分配与回收，减少远程访问。性能影响表现为：远程访问占比高时，内存密集型操作延迟上升、吞吐下降，本地化布局能显著改善。

本地/远程差异是 NUMA 性能的根源，数据库与 JVM 通过"把大内存分区并绑定到 node、让访问与数据同 node"来规避远程访问，这是提升内存密集型应用性能的关键。

• 迁移抖动（thrashing）
• 访问模式频繁变化
• 迁移开销与收益失衡

numa_balancing 会根据采样结果把页迁移到"最近访问的 node"。当负载的访问模式频繁变化（例如多阶段应用、线程/node 亲和性常变、数据在不同阶段被不同 node 访问）时，内核可能把页从 node A 迁到 node B，随后访问转向 A 又把页迁回 A，形成反复迁移（migration thrashing）。每次迁移都消耗迁移带宽、复制页内容、并触发 TLB/shootdown 与页表更新，且迁移期间可能产生额外缺页。当迁移频率超过本地化收益时，净效果是性能下降——CPU 开销与互连带宽被"来回搬家"浪费，而本地访问收益又因模式不稳定而无法兑现。因此对访问模式频繁变化的负载，盲目开启 numa_balancing 可能反而更慢，需评估负载的访问稳定性或调低迁移积极性。

迁移抖动是"优化反而损害"的典型：自动迁移的逻辑假设"访问模式稳定"，当假设不成立时，迁移开销成为纯损耗，收益无法覆盖，导致性能下降。

• guest 的虚拟 NUMA 拓扑
• 宿主真实拓扑的映射
• 伪 NUMA 与性能问题

在虚拟机中，guest 看到的 NUMA 拓扑（vNUMA）由宿主配置映射而来，可能并不反映真实物理拓扑：例如 guest 的 vCPU 被映射到宿主不同 socket 的核、或 guest 的"node"实际对应宿主跨 socket 的内存，guest 内部按 vNUMA 做的本地化优化可能实际落在远程物理位置。容器类似，容器内看到的 node 数量与宿主真实 node 可能错位，容器默认可能把内存分散到多个真实 node。这种"视角不一致"会产生伪 NUMA 问题：guest/容器以为的本地访问实际是远程访问，导致其 NUMA 优化失效、性能下降；同时 vCPU 跨 socket 或内存跨 node 还会引入互连争用。缓解方法是让 guest/容器的 vNUMA 与宿主真实拓扑对齐（vCPU 与内存落同一物理 node、容器内存绑定到所在 node），避免伪 NUMA 造成的远程访问。

伪 NUMA 的本质是"虚拟拓扑与物理拓扑的错位"，使 guest 内的角色优化在物理层失效，对齐虚拟与物理拓扑是规避的关键。

• THP 的 2MB 大页分配
• 跨 node 分配大页
• 规避远程访问的方法

THP 以 2MB 大页为单位分配，当一个 2MB 大页被分配到某个 node 时，它整页驻留该 node。若 THP 大页被分配到与访问它的线程不同的 node，则整个 2MB 的所有 4KB 子页都会变成远程访问，远程访问量被放大（不只单页，而是整个大页）。此外，THP 折叠/分配可能选择跨 node 或与本地 node 不符的节点，加大跨 node 访问。规避方法：1) 让 THP 分配遵循 first-touch 或 node 绑定，使大页落在访问线程的 node；2) 通过 NUMA balancing 或显式迁移把大页搬到访问 node；3) 对跨 node 严重的大页做 split 后按子页迁移，分摊到各 node；4) 在 numa_alloc 时考虑 node 亲和性，避免大页跨 node。核心是让"大页的 node 归属"与"访问它的线程 node"一致，避免一个错误放大整个 2MB 的远程访问。

THP 的放大效应来自"大页整体归属一个 node"：一旦归属错误，2MB 全变远程，比 4KB 页的远程访问影响大得多，因此 THP 下 node 对齐更重要。

• memory.numa_stat 的 per-node 统计
• 容器内存的 node 绑定
• 工作集本地化

cgroup v2 的 memory.numa_stat 提供该 cgroup 内存按 node 的分布统计（如各 node 上的 anon、file、无映射页等），可用来观测容器内存落在哪些 node、是否均衡。容器内存绑定实践包括：1) 用 cpuset 把容器 CPU 绑定到特定 node，并让容器内存分配遵循该 node（first-touch 或 cpuset.mems 限定内存 node）；2) 通过 memory.numa_stat 监控容器内存是否漂移到远程 node，如有则调整绑定或触发迁移；3) 结合 NUMA balancing 让容器工作集自动迁回本地 node。让容器工作集留在本地节点的关键：容器 CPU 与内存 node 一致（cpuset + mems 绑定），并配合 first-touch 初始化与按需迁移，确保容器频繁访问的页落在其所在 node，减少远程访问。

容器工作集本地化 = "CPU 与内存 node 对齐 + 监控 + 必要时迁移"，memory.numa_stat 提供观测手段，cpuset/mems 提供绑定手段，共同保证工作集留在本地。

• CPU 绑定（taskset/cpuset）
• 内存绑定（numactl/membind）
• 中断亲和性（irqbalance）

应用层的 NUMA 优化通常三管齐下：1) CPU 绑定通过 taskset/cpuset 把应用线程固定到特定 node 的核，保证其不在 node 间漂移；2) 内存绑定通过 numactl --membind 或 cpuset.mems 把应用内存限制到该 node，结合 first-touch 让数据落在 CPU 所在 node；3) 中断亲和性通过 /proc/irq 或 irqbalance 把网络/存储中断也绑定到应用所在 node 的核，避免中断在异 node 处理引发跨 node 访问与调度。典型数据库场景：把数据库进程固定到一组 node 的核与内存，网络 Rx/Tx 中断亲和到同一 node 的专属核，buffer pool 分区绑定到各 node，使"数据、线程、中断"都在同一 node，形成本地化闭环。这样最大化本地命中、减少跨 node 争用。

三者的协同是"把一切执行与数据都固定到同一 node"：CPU 绑定管线程位置，内存绑定管数据位置，中断亲和管 I/O 处理位置，三者一致才能避免跨 node 的完整链路开销。

• vCPU 到物理核的映射
• vNUMA 到物理 node 的映射
• vCPU 跨 socket 的惩罚

在虚拟化下，宿主把 vCPU 调度到物理核、把 vNUMA 节点映射到物理 node。若 vCPU 被调度到同一物理 socket 的核，且 vNUMA 对应 node 与物理 socket 一致，guest 的本地访问在物理层也是本地；若 vCPU 被调度到不同 socket 的核（vCPU 跨 socket），或 vNUMA 节点映射到跨 socket 的物理内存，则 guest 内部"本地"访问实际变成跨 socket 的远程访问，经互连转发，延迟升高、带宽受限，并可能与其他 VM 争用互连。惩罚具体表现为：guest 内存密集型负载延迟上升、吞吐下降，且因互连争用可能影响同宿主其他 VM。缓解方法是让宿主把 vCPU 与 vNUMA 固定映射到同一物理 socket（如 vCPU pinning + 内存 node 绑定），保证虚拟拓扑与物理拓扑对齐，避免跨 socket 惩罚。

vCPU 跨 socket 的惩罚本质是"虚拟本地 ≠ 物理本地"，把 vCPU 与 vNUMA 映射固在同一物理 socket 上，才能让 guest 的 NUMA 优化在物理层兑现。

• hugepages 的 per-node 预留
• 预留不均衡的后果
• 局部内存压力

HugeTLB 大页可以按 node 预留（/sys/kernel/mm/hugepages/hugepages-N/nr_hugepages_mempolicy 或每 node 配置），内核把大页分配到各 node。若预留不均衡（如某 node 预留大量大页、另一 node 预留很少），则：1) 预留过多大页的 node 会因大量内存被大页占死而缺乏普通内存，导致该 node 的普通分配/回收压力增大；2) 需要大页但在预留少的 node 上的进程要跨 node 拿大页，产生远程访问或分配失败；3) 大页一旦被预留，其内存不能用于普通用途，某 node 预留过量会形成"局部内存压力"——该 node 其他用途内存不足，而其他 node 可能还有空闲。缓解方法是按各 node 的实际需求均衡预留大页，并让使用大页的进程与预留 node 对齐，避免局部资源失衡。

大页预留是"一次性占住内存"的操作，不均衡预留把内存锁死在部分 node，造成"局部有压力、他处有冗余"的失衡，需要按 node 均衡分配。

• cache line 争用的跨 node 影响
• per-node 锁/计数器拆分
• 典型场景拆分

当多个 node 的线程并发访问同一个共享计数器或锁时，该计数器所在的 cache line 会在各 node 间频繁传递（cache line bouncing），每次访问都要跨 node 同步缓存，产生严重争用与互连流量。NUMA 感知的做法是把数据结构拆成 per-node 版本：每个 node 维护自己的计数器/锁副本，线程只访问本 node 的副本，从而把 cache line 争用限制在本地 node 内，避免跨 node 传递。典型场景如：统计计数（per-node 计数然后汇总）、内存分配器的 per-node 缓存、锁的 per-node 排队（如 NUMA-aware ticket lock/队列锁，让等待者优先由同 node 线程激活）。拆分时按"node 维度"分区，保证每个 node 独享副本、避免伪共享，并通过拆分的粒度（per-node 还是 per-cpu）平衡统计汇总成本与争用减少。

per-node 拆分的本质是"把跨 node 的 cache line 争用本地化"，每个 node 的线程只碰本地副本，减少互连流量与缓存传递，是 NUMA 感知数据结构的核心手段。

• CXL Type-3 内存作为冷层
• 分层内存的放置策略
• 页面迁移与冷热识别

CXL Type-3 内存通过 CXL 接口扩展为主机内存，但其延迟/带宽往往低于本地 DRAM，因此内核把它视为"冷层"（cold tier），本地 DRAM 为"热层"。分层内存策略根据页的冷热程度决定放置：热页（频繁访问）放本地 DRAM 以获得低延迟，冷页（少访问）放 CXL 冷层以扩展容量。内核通过采样（如 NUMA balancing 的访问统计）识别页的冷热，把新冷页或降热的页迁移到 CXL 层，把升温的页迁移回 DRAM 层。迁移受 demotion/promotion 机制控制：demotion 把冷页从 DRAM 降级到 CXL，promotion 把热页从 CXL 提升回 DRAM。策略的目标是让热数据获得 DRAM 性能、冷数据利用 CXL 容量，在"性能"与"容量"之间权衡，并通过迁移阈值避免抖动。

分层内存的核心是"按冷热分层放置 + 动态迁移"，CXL 冷层提供容量而 DRAM 热层提供性能，内核通过 demotion/promotion 在两层间调度页，实现容量与性能的平衡。

• 不同内存层作为独立 node
• demotion/promotion 的迁移
• 冷热分层的表达

Linux 把不同性能的内存层建模为不同的 node（如本地 DRAM 是一个 node，CXL/PMem 作为另一个 node），并用 node 距离（distance）表达层间性能差异（DRAM 更近、CXL/PMem 更远）。冷热分层通过 demotion/promotion 机制表达：当内存压力下需要腾出 DRAM 时，内核把冷页 demote（降级）到更远的 CXL/PMem node；当页被访问升温、为了性能，内核把热页 promote（提升）回较近的 DRAM node。demotion 通常由回收路径触发（把匿名页从热层降级到冷层而非直接 swap），promotion 由访问检测触发。通过 node + distance + demotion/promotion，内核把"冷热分层"表达为"按 node 级别的迁移调度"，让不同性能的内存层在统一框架下协同工作。

分层的关键是用 node 表示"层"、用 distance 表示"层间的性能差"、用 demotion/promotion 表示"层间的流动性"，从而把冷热分层固化到内核的 node 与迁移机制中。

• zone_reclaim_mode 的语义
• 默认关闭的原因
• 本地回收 vs 远程分配

zone_reclaim_mode 控制内核在某个 node 内存不足时，是否优先回收该 node 本地内存以满足分配，而不是直接使用远程 node 的内存。默认关闭（0），因为内核倾向于"从远程 node 分配"而非"回收本地"：本地回收会触发页扫描、回收、shrink 等 costly 操作，且可能把本可用作缓存的页驱逐，而远程分配只是走一次互连，延迟影响相对可控。开启后，内核会优先尝试本地回收以满足本地分配，从而保证数据留在本地 node、减少远程访问，但代价是频繁的本地回收开销与回收导致的缓存丢失。取舍在于：对"本地命中率敏感、远程访问代价高"的负载（如 NUMA 感知数据库），开启本地回收可换回本地性；对"内存量大、回收昂贵"或"远程访问可接受"的负载，关闭并用远程分配更划算。默认关闭反映了"宁远程分配、不本地回收"的保守策略。

默认关闭体现了"远程分配比本地回收便宜"的权衡：远程分配是单次跨 node 访存，本地回收是复杂的扫描+驱逐+潜在二级回收，显然后者更昂贵，故默认不启用。