内存管理与 page cache

• 理解 VMA 描述进程虚拟地址空间的分段映射
• 理解 page fault 的层次：VMA 查找、pte 建立、物理页分配
• 理解 major/minor fault 的分流

VMA（Virtual Memory Area）是进程虚拟地址空间中一个连续映射的段，由 vm_area_struct 描述，包含起始/结束地址、权限（读/写/执行）、映射对象（文件或匿名）、flags 等。进程的 mm_struct 维护一个 VMA 链表/红黑树，用于快速查找地址对应的 VMA。当进程访问一个未建立映射的地址时发生 page fault，处理流程为：先通过缺页地址在 VMA 树中查找对应的 VMA，若不在任何 VMA 内则触发 SIGSEGV；若找到 VMA，则分配或找到对应的物理页并建立页表项（pte），同时处理权限与 COW 等情况。若页在 page cache 中命中（如文件已被读取过），则只需建立页表（minor fault，快）；若需要从磁盘读取，则发起磁盘 I/O（major fault，慢）。处理完成后通过 do_page_fault 返回，重新执行被中断的指令。

VMA 是"虚拟内存地图"，page fault 是"按需映射"的触发点。理解 VMA 查找与 fault 分流（major/minor）是剖析内存分配、mmap、写时复制、文件 IO 性能的基础。

• 理解 oom_score 的计算（内存占用、权重）
• 理解 oom_score_adj 的调整范围（-1000 到 1000）
• 理解 oom_score_adj 为 -1000 可豁免

当系统内存不足且无法通过回收满足时，内核触发 OOM killer 选择一个进程杀掉以释放内存。选择依据 oom_score：它主要由进程的内存占用（RSS、swap、page table 等）与 oom_score_adj 决定，占用内存越多、分数越高，越容易被杀。oom_score_adj 允许管理员/应用调整进程的被杀风险，范围 -1000 到 1000：正值提高被杀概率，负值降低，设为 -1000 表示该进程完全豁免（OOM_SCORE_ADJ_MIN）。内核还会额外考虑进程的 root 权限、运行时间、子进程数等启发式，并优先选择"消耗内存大且存活时间短"的进程。该启发式通过 /proc//oom_score 查看当前的分数。

OOM killer 是"内存耗尽时的最后手段"，选择启发式追求"以最小代价释放最多内存"。通过 oom_score_adj 可保护关键服务（如数据库），让弱相关的进程被优先清理，是生产环境内存治理的重要工具。

• 理解 radix tree/xarray 用于按页索引快速查找 page cache
• 理解 xarray 的紧凑与多值支持
• 理解 dirty page 写回（writeback）与后台刷盘

page cache 以物理页为粒度缓存文件内容，需要按文件偏移（页号）快速索引到对应页。早期内核用 radix tree 实现这一索引，自 Linux 4.17 引入 xarray 后逐步将其重构为 xarray（到 5.x 已完全取代 radix tree）。xarray 继承了 radix tree 的按位/前缀压缩结构，但更紧凑、支持在每个槽位存储多值（如标记、多页），并统一了 API，减少了冗余代码。xarray 的标记（mark）用于跟踪 clean/dirty/tagged 状态。dirty page 写回：文件页被修改后标记为 dirty，由后台线程（writeback）或基于比例的阈值（dirty_ratio/dirty_background_ratio）触发，将 dirty 页通过 address_space 的 writeback 机制写回磁盘并可被再次分配。写回由 bdi（backing device info）驱动，支持按 inode 的 bdi 队列调度。

索引结构（xarray）保证 page cache 的 O(log n) 查找，dirty 写回机制平衡内存与磁盘刷新速度。理解 xarray 与 writeback 是分析缓存命中率、脏页堆积与 IO 性能的基础。

• 理解 NUMA 内存分配策略的种类
• 理解 MPOL_BIND 限定在指定节点分配
• 理解 per-CPU page cache 与内存本地性

NUMA 系统中内存访问本地节点最快，跨节点访问有额外延迟。Linux 通过 mempolicy（内存策略）控制进程从哪些节点分配内存，常用策略包括：MPOL_DEFAULT（默认按节点邻近原则）、MPOL_BIND（强制只在指定节点分配，超出则失败或回收）、MPOL_PREFERRED（优先从偏好节点分配，不足时回退其他节点）、MPOL_INTERLEAVE（交错分配以均衡带宽）。通过 set_mempolicy/numactl 设置。per-CPU page cache 指每个 CPU 维护自己的页缓存分配池（如 per-cpu pages），以提高分配局部性并减少锁竞争。NUMA 环境下，page cache 的页面分配会尽量贴近访问它的 CPU 所在节点，从而保证缓存数据的内存本地性，减少跨节点访问。

NUMA 调优的关键是"内存与 CPU 的亲和"。MPOL_BIND 提供强绑定，PREFERRED 提供软偏好，per-CPU 页缓存则为分配与访问提供局部性。数据中心型和数据库服务常需显式配置 NUMA 策略。

• 理解 file-backed 页可丢弃后从磁盘重读
• 理解 anonymous 页需 swap 才能回收
• 理解 swappiness 参数对优先级的调节作用

file-backed 页（如 mmap 的文件、page cache 中的数据）内容来自磁盘文件，回收时可直接丢弃该页，后续访问再从磁盘重新读入，无需额外存储。anonymous 页（如堆栈、malloc 的内存）没有磁盘副本，回收时必须先写入 swap（或 zram）保存内容，否则数据丢失。因此内核回收时优先回收 file-backed 页（丢弃代价低），只有 file-backed 页不足或需要更多内存时才回收 anonymous 页（swap 代价高）。swappiness 参数（0-100）控制回收时对 anonymous 页的倾向：swappiness 越高越倾向回收 anonymous（用 swap），越低越倾向保留 anonymous 回收文件页。默认 60。

回收优先级本质是"回收代价"的比较：丢弃可重读页 vs 写 swap。理解这个优先级与 swappiness 的调节，是判断内存压力下"为什么缓存被回收/swap 被用"的关键。

• 理解 drop_caches 的取值（1=page cache、2=dentry/inode、3=全部）
• 理解其手动释放缓存的用途
• 理解其注意事项（非必需、影响性能）

/proc/sys/vm/drop_caches 允许管理员主动释放内核缓存，写入 1 释放 page cache 页，写入 2 释放 dentry 与 inode 缓存，写入 3 同时释放两者。写入后内核会尽力回收这些可丢弃缓存，常用于测试文件系统重复读性能、在内存骤降时快速释放缓存、或清理后观察真实 IO 吞吐。需要注意：drop_caches 并不保证立即释放所有缓存（内核按需回收），且释放后文件访问会重新读盘导致性能下降，属常规操作而非内存优化手段。生产环境不建议频繁使用，因为它会破坏缓存热数据，反而增加 IO。它依赖 sync 先刷盘 dirty 页（或先写回）。

drop_caches 是"手动清缓存"的调试工具，用于验证缓存命中率影响或测冷启动性能。理解其语义有助于避免误用（如以为能提升内存余量）。

• 理解 page cache 与用户进程页的映射共享
• 理解 MAP_SHARED 下多进程共享同一物理页
• 理解 MAP_PRIVATE 的 COW 行为

page cache 是文件内容在内存中的缓存，进程通过 mmap 读文件时，其页表直接映射到 page cache 的物理页，实现"用户态与内核缓存共享同一份数据"，避免复制，即"单缓冲"。而"双缓冲"常指传统 read/write 系统调用路径：内核先把磁盘数据读入 page cache，再复制到用户缓冲区，用户态与内核各有一份拷贝。MAP_SHARED 映射下，多个进程共享同一个物理页（page cache 页），任一进程写入会直接修改该页，其他进程可见，且脏页会回写文件。MAP_PRIVATE 映射则采用写时复制（COW）：进程初始共享 page cache 页，一旦某进程要写，内核会分配一个新物理页，把原页内容复制过去并改写页表，使该进程的修改私有化，不影响 page cache 与其他进程。

理解"共享页 vs 复制"是现代系统 IO 与内存映射的核心。MAP_SHARED 强调并发可见与共享，MAP_PRIVATE 通过 COW 实现"读共享、写私有"，兼顾效率与隔离。

• 理解 LRU 双链表回收机制
• 理解 active/inactive（hot/cold）两级链表
• 理解 refault 与回收偏好

page cache 的回收采用 LRU 思想，但内核把它实现为"活跃（active/hot）"与"不活跃（inactive/cold）"两级双链表。新页先进入 inactive 链表；若在 inactive 链表期间被再次访问，则被"提升"到 active 链表；active 链表满时，页会被降级回 inactive。回收时优先从 inactive 链表的尾部（最久未使用）回收。这样区分热冷数据，使活跃页（hot）得以保留在内存，冷页（cold）优先被回收。内核还通过 refault 距离（页被回收后再次访问的间隔）与回收基数（workingset）来动态调整 active/inactive 比例，从而减少"抖动"（thrashing），即频繁换入换出的恶性循环。

两级 LRU 是"以最小代价保留最热数据"的经典设计，通过提升/降级与 refault 检测，在有限内存下尽量保住热页。理解它是分析缓存命中率与内存回收行为的核心。

• 理解 cachestat 统计页缓存命中/未命中
• 理解 mincore 检查页是否驻留内存
• 理解两类工具的用途差异

cachestat 是一个基于 /proc 的 perf 工具（在内核树 tools/perf 或 bcc 中），它通过读取 /proc/vmstat 与 /proc/meminfo 中的 page cache 相关计数器，动态计算一段时间内的页缓存命中率、未命中数、脏页数等，帮助判断文件 IO 是否主要命中缓存。mincore 是系统调用（及工具），用于检查一组虚拟地址对应的页是否驻留在内存（page cache 中），返回一个位图，可精确判断哪些页是冷启动（未驻留）需要重新读盘。两者的配合：cachestat 给出整体命中率，mincore 定位具体哪些页未驻留，从而定位"穿透"（cache miss）热点与是否需要预取或调整缓存。

诊断缓穿透需要"整体统计 + 局部定位"双管齐下。cachestat 提供宏观命中率，mincore 提供微观页驻留信息，二者结合可指导缓存策略与预取优化。

• 理解 memory.events 记录内存事件计数（oom、high、max 等）
• 理解 PSI 的 cpu/memory/io 三类压力指标
• 理解它们用于诊断内存压力

cgroup v2 的 memory.events 文件记录该 cgroup 内发生的内存相关事件计数，包括 oom（本组内发生 OOM）、oom_kill（被 OOM 杀死进程数）、high（触发 memory.high 节流）、max（触发 memory.max 限制）、low（触发 memory.low 保护）等，通过观察这些计数器可判断内存压力来源。PSI（Pressure Stall Information）是内核提供的资源压力指标，按 cpu、memory、io 三类分别报告"因资源不足导致的任务停滞时间比例"，用 some（部分任务停滞）与 full（全部任务停滞）两个粒度表示，可在 /proc/pressure/ 下查看。memory 的 PSI 反映内存压力导致的 stall，与 memory.events 结合可判断是容量不足（max 触发）还是节流（high 触发）。

memory.events 是"发生了什么"的计数器，PSI 是"任务停滞多久"的压力指标，两者都是判断容器/系统内存是否紧张、是否需要扩容或调整 limit 的关键观测点。

• 理解 swappiness 控制匿名页回收倾向
• 理解 dirty_ratio 与 dirty_background_ratio 的脏页写回阈值
• 理解参数调节对 IO 与内存的影响

/proc/sys/vm 下的参数控制内核内存回收与脏页写回行为。swappiness（0-100，默认 60）控制回收时对 anonymous 页的倾向：值越高越倾向把匿名页 swap 出去，越低越倾向回收 file-backed 页、保留匿名页。dirty_ratio（默认 20）是脏页占内存总量（可用内存）的百分比，达到后触发进程"同步阻塞式"写回（强制刷盘）；dirty_background_ratio（默认 10）是脏页背景比例，达到后由后台内核线程异步写回，不阻塞应用。调节思路：对 IO 敏感或希望减少延迟尖刺的系统，可调低 dirty_background_ratio 让写回更早更平滑；对内存有限且 swap 慢的系统可调低 swappiness 减少 swap。这些参数是 /proc/sys/vm/ 下最常用的内存调优项。

swappiness 决定"回收谁"，dirty 比例决定"脏页何时刷盘"。理解它们能解释"为什么有大量空闲内存却频繁 swap / 写盘"等反直觉现象，是内存与 IO 调优的基础。

• 理解 memory.max 是硬性上限
• 理解 memory.high 是软性节流
• 理解 memory.low 是保护性下限

cgroup v2 的 memory.max 是硬性上限，cgroup 内内存使用超过该值会触发回收，若仍无法满足则触发 OOM。memory.high 是软性节流阀，超过该值内核会主动回收并可能对分配施加节流（throttle），但不立即 OOM，主要用于在达到硬上限前平滑控制内存增长。memory.low 是保护性下限，当系统内存紧张时，cgroup 内处于 low 保护范围内的内存会被尽量保留，不优先回收；它表示"该 cgroup 至少应保留的内存"的软性保证。三者层级关系：low 是底（保护），high 是软上限（节流），max 是硬上限（OOM）。合理配置 high 让内存增长平滑，max 兜底防超限，low 保证关键 cgroup 的驻留内存。

三个参数构成"保底—节流—封顶"的完整内存控制体系。理解它们的语义差异（分别触发保护、回收节流、OOM）是容器内存治理与服务质量保证的核心。

• 理解硬限制（memory.max/reclaim）的强制语义
• 理解软限制（memory.low/high）的弹性语义
• 理解两者在内存回收时的不同行为

硬限制（hard limit）是强制性的绝对上限，对应 memory.max 等参数，一旦 cgroup 内存超过该值，内核必须通过回收或 OOM 来满足约束，不可突破，属于"契约"式保证。软限制（soft limit）是弹性目标，对应 memory.high、memory.low 等参数：memory.high 在超过后尽力回收、可节流但允许短时超过而不会立即 OOM；memory.low 则是在全局内存紧张时优先保护的软性下限，是"尽力而为"的保留而非绝对保证。二者的边界在于：硬限制"必须遵守"，软限制"按压力尽力接近"。实践中，软限制用于平滑与相对保护，硬限制用于防止突破导致 OOM 或干扰其他租户。

区分硬/软限制是内存 cgroup 设计的关键。硬限制保证隔离（其他租户不受影响），软限制提供弹性与优先级（在竞争时保护关键负载）。理解这个边界才能正确配置 memory 参数。

• 理解 minor fault 是页表未建但页已在内存
• 理解 major fault 需要磁盘 I/O
• 理解 time/getrusage/perf 等工具统计缺页

minor fault（次要缺页）指访问的页已驻留内存（如 page cache 命中、COW 首次写、共享库），但页表项尚未建立，只需建立页表即可，开销很小。major fault（重大缺页）指需要的页不在内存，必须从磁盘（swap 或文件）读入，开销大，是性能瓶颈的主要来源。统计工具：time -v 报告 "Minor (reclaiming a frame) page faults" 与 "Major (requiring I/O) page faults" 计数；getrusage 的 ru_minflt/ru_majflt 字段；perf stat 的 page-faults/minor-faults/major-faults 事件；/proc//stat 的字段 9/10 也是 minflt/majflt。定位方法：若 major faults 高，说明热数据未驻留（缓存不足或冷启动），应增大缓存、预取或调整内存策略；若 minor faults 高但 major 低，通常是页表频繁重建（如 fork、COW），开销尚可但可优化。

major fault 是"真正的磁盘 IO 延迟"，minor fault 是"纯内存的页表操作"。通过区分两者定位是"缓存不足"还是"页表重建频繁"，从而确定优化方向（扩容/预取/减少 COW）。

• 理解外部碎片导致连续大页分配失败
• 理解 compaction 通过移动页聚合空闲块
• 理解 MIGRATE_* 迁移类型分类页以减少碎片

外部碎片指系统有大量零散空闲页但缺乏连续的大块，导致 THP（Transparent Hugepage，2MB 大页）或内核大块分配失败。当无法从 buddy 直接获得所需 order 的连续块时，内核尝试内存规整（compaction）：通过机制把可移动页（migrate）搬走，聚合成更大连续空闲区域，从而满足大页分配；若 compaction 也失败才可能触发 OOM。防碎片策略上，内核把页按迁移类型分类为 MIGRATE_UNMOVABLE（不可移动，如内核分配）、MIGRATE_MOVABLE（可移动，如用户页/页缓存）、MIGRATE_RECLAIMABLE、MIGRATE_CMA 等，并在 buddy 中按类型分桶管理，尽量让同类页聚集，从而减少不可移动页"随机散布"造成的碎片，使 compaction 能有效移动可移动页聚合空间。

碎片化治理的核心是"分类 + 规整"：MIGRATE_* 类型让可移动页可被搬走，compaction 用来聚合。理解这一套机制是排查 THP 分配失败、大页可用性问题的关键。

• 理解 kswapd 后台异步回收与 direct reclaim 的触发条件
• 理解 direct reclaim 阻塞分配路径导致延迟
• 理解排查手段（vmstat、events、延迟观测）

内存回收有两种路径：kswapd 是后台内核线程，在内存水位低于 low 阈值时提前异步回收，尽量让分配路径不阻塞；direct reclaim 是当分配请求在 fast path 无法满足（如水位数不足或 GFP 标志受限）时，分配进程自己在分配路径上同步回收页面，它会阻塞当前分配，导致延迟尖刺。职责分工：kswapd 负责"提前预回收"，direct reclaim 负责"兜底即时回收"。当系统内存压力大、回收跟不上分配时，direct reclaim 频繁发生，表现为进程分配延迟尖刺。排查手段：vmstat 的 pgscan/pgsteal/pgalloc 等回收计数、sar -B 或 /proc/vmstat 观察 pgscan_direct；内核日志与甩水位事件；观察 PSI 的 memory 压力；用 perf 或 bpftrace 追踪分配调用栈。优化方向：调低内存水位、提高回收效率、增大内存、减少突发分配。

direct reclaim 是"分配路径上的回收"，其延迟影响直接暴露给应用。通过区分 kswapd 与 direct 回收的触发，可定位是"回收不及时"还是"内存不足"，进而决定调优方向。

• 理解各工具的输出维度
• 理解 buff/cache 与真实可用内存的区别
• 理解综合判断内存压力的方法

free 给出 total/used/free/shared/buff/cache 与 available，其中 available 是估算的可分配内存，关键区分"buff/cache 是可回收的"而不是真实占用。vmstat 提供 swapping（si/so）、page 回收（pgalloc/pgscan/pgsteal）与内存字段，观察 swap 活跃度与回收量。sar -r/-B 提供历史内存与回收统计。cachestat 提供 page cache 命中率与脏页。PSI 提供 memory 压力（some/full）即任务因内存瓶颈停滞的比例。综合判断方法：内存"真正紧张"的迹象是 available 低、swap 活跃（si/so 高）、pgscan_direct 频繁、PSI memory full 高、kswapd 忙碌；而"缓存占比高"是 buff/cache 大但 available 充足、无 swap、无回收压力、PSI 低——此时内存并不紧张，缓存多反而是好事。因此不能只看 free 的 used，要看 available 与回收/swap 实证指标。

判断"真紧张 vs 假紧张"的核心是看"回收与 swap 是否真发生"以及"可用内存是否真不足"。缓存占比高是正常现象，只有 available 低 + 回收/swap 活跃 + PSI 高才说明内存真实不足。

• 理解 THP 自动使用 2MB 大页提升 TLB 命中
• 理解 THP 的三种模式（always/madvise/never）
• 理解 madvise(MADV_HUGEPAGE) 按需提示使用大页

transparent hugepage（THP）允许应用透明地使用 2MB（或更大）的 hugepage，而不需要显式配置 hugetlb，通过减少 TLB miss 提升大内存访问性能。THP 有三种模式：always（尽力为所有匿名映射使用大页）、madvise（仅对 madvise(MADV_HUGEPAGE) 标记的映射使用）、never（禁用）。madvise(MADV_HUGEPAGE) 是应用主动提示内核为某段虚拟内存使用大页，典型用于数据库、JVM 堆等大内存且访问密集的场景，可避免 always 模式带来的碎片化与回收开销。反面还可以用 MADV_NOHUGEPAGE 关闭。THP 使用需注意：hugepage 不易 swap、可能增加内存碎片且与某些场景（如 fork 后 COW）有开销，因此生产环境常需按应用选择 madvise 或 never。

THP 是"透明大页"，madvise 模式让应用按需提示，兼顾性能与可控性。理解三种模式与 madvise 的用法，是数据库/云服务大内存调优的常见点。

• 理解传统 swapfile 写磁盘、慢但扩展内存
• 理解 zswap 压缩后缓存在内存、减少磁盘 swap
• 理解 zram 是内存压缩块设备、把 swap 放内存

三种 swap 方案用于扩展内存或缓解内存压力。传统 swapfile 将内存页写入磁盘分区/文件，能真正释放物理内存，但读写涉及磁盘 IO，速度慢，适合有足够磁盘空间且可接受 IO 的场景。zswap 是压缩的缓存：被 swap 换出的页先经压缩（如 LZ4）缓存在内存池中，只有当压缩后仍超出 zswap 上限时才真正写入磁盘，因此能减少磁盘 swap，提升 swap 性能，适合内存压力不大但偶发暴增的场景。zram 把一块内存作为压缩块设备（/dev/zram），swap 直接写到其中，压缩后容纳更多页，完全避免磁盘 IO，速度快，常用于内存受限的嵌入式与桌面，但压缩本身消耗 CPU，且 zram 不释放物理内存（内存仍被压缩页占用）。取舍：要求真释放内存选传统 swapfile，要求低延迟且内存够用选 zswap，要求零磁盘且内存非常有限选 zram。

三者的本质是"用内存换 IO/容量"的不同权衡。zswap 偏向"减少磁盘写"，zram 偏向"内存压缩扩容"，传统 swap 偏向"真释放内存"。选择取决于内存压力、磁盘速度与 CPU 资源的综合权衡。