大页与内存映射

• THP 与 hugetlbfs 显式大页的区别
• khugepaged 后台扫描与 collapse 机制
• THP 对 TLB 命中率与内存分配的影响

THP 是内核自动将 4KB 小页合并为 2MB 大页的机制，对应用透明，无需显式调用 mmap 或 MAP_HUGETLB。它由内核后台线程 khugepaged 周期性扫描进程的映射，将满足条件的连续小页（多为匿名页）合并（collapse）为 2MB 大页，从而减少页表层级，降低 TLB miss。同时，THP 也支持在分配时直接使用大页（madvise 或 always 模式）。它通过 /sys/kernel/mm/transparent_hugepage/enabled 控制，可选 always、madvise、never 三种模式。

THP 的核心价值在于以最低的改造成本获得大页的 TLB 收益，同时避免显式大页需要预留和调整的复杂度。缺点是当部分页被访问时，大页可能被分裂回小页，以及 collapse 过程本身有 CPU 开销。

• HugePages_Total、HugePages_Free、HugePages_Rsvd 的含义
• 预留机制如何保证 mmap 时能成功分配
• 大页在虚拟预留与物理提交之间的区别

hugetlbfs 的大页在内核启动或运行时静态预留（reserved），即在内核内存池中预先固定了一定数量的 2MB/1GB 页，这些页专供大页使用，不会被普通分配器取走。HugePages_Total 是预留总页数，HugePages_Free 是当前空闲页数，HugePages_Rsvd 是已为未来 mmap/共享预留但仍未物理使用的页数。当应用 mmap 或 shmget 大页时，先从预留池中划出，保证映射可成功提交。free 反映的是实际可立即使用的物理大页。

预留机制是"先预留、后使用"的静态资源池设计，牺牲了灵活性换取了确定性：大页映射不会因内存不足而失败，但预留的页即使不被使用也无法被普通进程回收。

• hugetlbfs 的挂载方法
• 预留大页的配置（nr_hugepages）
• 在挂载点创建文件并 mmap 使用

首先通过 /proc/sys/vm/nr_hugepages 或启动参数 hugepages= 预留大页数量（例如 echo 1024 > /proc/sys/vm/nr_hugepages）。然后挂载 hugetlbfs：mount -t hugetlbfs none /mnt/huge，或直接使用系统默认的 /dev/hugepages。应用在挂载点创建文件，通过 open + mmap(MAP_HUGETLB) 或普通 mmap 该文件，即获得大页 backing 的映射。共享内存大页可通过 shmget(SHM_HUGETLB) 使用。

hugetlbfs 本质是一个伪文件系统，把大页作为文件暴露给用户，映射该文件即可获得 2MB/1GB 对齐的物理页，从而减少 TLB miss。

• 64KB granule 与 4KB granule 的页表差异
• 大页在 64KB granule 下的实际大小
• 对内存数据库 TLB 命中率的影响

ARM64 64KB granule 意味着最小页大小为 64KB，其 page table 层级更少、覆盖范围更大，单页即可覆盖更大连续内存，天然减少 TLB miss。在 64KB granule 下，2MB 大页由 32 个 64KB 页组成，通过 contiguous bit 可合并为单个 TLB entry，效果相当于超大页。对于内存数据库这类大内存、顺序访问的工作负载，64KB granule 能显著提升 TLB 命中率并减少页表占用的内存。

其代价是内部碎片增加（最小分配单元 64KB）以及跨页的随机小对象访问更浪费。但内存数据库通常分配大块连续内存，64KB granule 的友好度很高。

• THP 的 fork 时 COW 开销
• 大页分裂引起的内存抖动
• Redis 对延迟敏感的特性

Redis 是单线程、延迟敏感的内存数据库。THP 开启时，fork 子进程做备份或 RDB 持久化时，由于 COW（写时复制）以 2MB 大页为粒度，父进程只要修改一页，就会复制整个 2MB 大页，导致内存占用和 CPU 开销急剧上升，甚至触发 OOM。此外，THP 的 collapse 与分裂（split）过程会引入不可预测的停顿与内存抖动。因此 Redis 官方强烈建议关闭 THP（echo never > /sys/kernel/mm/transparent_hugepage/enabled）。

这个案例说明：大页的 TLB 收益并非对所有工作负载都成立，对以 COW 和低延迟为核心特性的场景，大页粒度的复制开销弊大于利。

• 两种大页的 TLB 覆盖能力
• 预留与分配的可管理性
• 内存碎片与内核回收的难度

2MB 大页更常见、更易预留和分配，因为找到连续 2MB 物理内存比连续 1GB 容易得多，且 Linux 对 2MB 的预留和管理更成熟。1GB 大页覆盖范围更大（一个 TLB entry 覆盖 1GB），能极大减少 TLB miss，但需要有连续 1GB 物理内存，预留困难、易受碎片影响，且一旦分配后灵活性差。内存数据库通常根据数据规模选择：完全内存驻留且按 1GB 对齐分配时用 1GB 大页收益最大，否则用 2MB 更稳妥。

本质是 TLB 收益与可管理性（碎片、预留失败率）之间的权衡。1GB 大页的收益呈线性增长，但预留门槛非线性变高。

• 大页换出与回收的粒度问题
• 大页分裂的 CPU 开销
• deferred split 的思路

大页（2MB）在换出或回收时，以整个大页为单位处理会带来巨大开销和碎片：swap 换出要以页为单位管理，且大页中只有部分页被访问时，换出整个大页浪费严重。因此回收/换出前需要把大页分裂回 4KB 小页（split_huge_page），以便逐页处理。但分裂本身要更新页表、拆分 struct page，瞬时开销大。deferred split 的思路是不在回收时一次性分裂，而是先把大页标记为"待分裂"，放入一个延迟队列，由后台/回收路径分批处理，把瞬时开销摊薄到多个时间点，避免回收路径上的长停顿。

这是"把大粒度的瞬时开销摊薄"的经典工程手法，与 unmap 时的批量处理类似。核心权衡是分裂时机与开销的平滑化。

• 大页统计字段的含义
• 与 HugePages_Rsvd 的关系
• 真正未被使用的大页数 = HugePages_Free - HugePages_Rsvd

HugePages_Total 表示系统预留的大页总数（即 nr_hugepages 配置的数量），HugePages_Free 表示当前空闲可用的大页数量。HugePages_Free 中已承诺给进程但尚未实际使用的部分单独记为 HugePages_Rsvd，因此真正"未被使用"的页数为 HugePages_Free - HugePages_Rsvd。HugePages_Surp 表示超出 nr_hugepages 的超额（surplus）页。

这些统计字段帮助管理员判断大页是否充足、是否被碎片化，以及在内存压力下监控大页的预留与使用情况。

• 按区域提示 THP 的合并
• thp=madvise 模式下的语义
• 与 always 模式的区别

在 THP 的 madvise 模式下，内核默认不自动合并大页，只有应用显式调用 madvise(addr, len, MADV_HUGEPAGE) 的区域才可能被 khugepaged 合并为 2MB 大页。MADV_NOHUGEPAGE 则相反，明确告诉内核该区域不要合并为大页，即使处于 always 模式也不得合并。MADV_HUGEPAGE 适合对延迟和 TLB 命中敏感的大块连续内存（如数据库 buffer pool、JVM 堆），MADV_NOHUGEPAGE 适合小的、频繁分配释放或对 COW 敏感的区域。

这给应用提供了按区域细粒度控制 THP 的手段，比全局 always/never 更灵活，是"显式优于隐式"的体现。

• shmem 与 file-backed 的 THP 支持
• 合并的触发条件与稳定性
• 写回语义对合并策略的影响

THP 主要针对匿名页（含 shmem/tmpfs 匿名共享内存）进行合并，因为匿名页由内核管理、无固定文件 backing，合并后写回不需要更新文件。file-backed 页（如 mmap 的普通文件）在 THP 下通常不被合并，因为其内容与磁盘文件紧密关联，合并大页会破坏文件页与页缓存的映射一致性，且文件页回收后需要重新从磁盘读回，大页反而增加复杂度。因此内核默认只对匿名页和 shmem 页做 THP collapse。

这是由写回语义决定的：匿名页无处写回、合并自由；file-backed 页有持久化语义，合并会破坏文件系统的一致性保证。

• 两种获取大页映射的方式
• 何时需要 MAP_HUGETLB
• 文件绑定生命周期与纯匿名映射的差异

/dev/hugepages 是系统默认挂载的 hugetlbfs，应用通过 open 该目录下的文件并 mmap 即可获得大页映射，无需额外 flag。MAP_HUGETLB 是 mmap 的一个 flag，直接用 MAP_PRIVATE|MAP_ANONYMOUS|MAP_HUGETLB 创建匿名大页映射，无需经过文件系统。两者都能获得大页，区别在于：经 /dev/hugepages 需要文件描述符，且映射与文件生命周期绑定；MAP_HUGETLB 是纯匿名大页映射，更直接。二者都要求系统已预留足够大页。

MAP_HUGETLB 是"免挂载"的便捷方式，适合进程私有大页；/dev/hugepages 适合需要共享或跨进程传递的大页。

• 启动时预留 vs 运行时预留
• 大页预留的时机与碎片问题
• 早预留、避碎片的可靠性优势

启动参数 hugepages=N 在系统启动早期、物理内存尚未碎片化时预留 N 个大页，此时内存连续、容易分配大尺寸页，因此 boot-time 预留更可靠。而运行时通过 /proc/sys/vm/nr_hugepages 动态调整，会因内存碎片而难以找到连续大块物理内存，导致预留失败或只能预留 2MB 页。对于 1GB 大页，官方建议在启动时通过 hugepagesz=1G hugepages=N 预留。

这是"早预留、避碎片"的思想：物理内存越早规划越连续，静态预留是对确定性要求高的场景（如数据库）的稳妥做法。

• TLB 覆盖范围的扩大
• 页表层级减少
• 页表内存占用下降

大页通过增大单页的物理覆盖范围（如 2MB、1GB），使一个 TLB entry 覆盖更多连续内存，从而在相同 TLB 容量下大幅提高命中率，减少 TLB miss 带来的 page table walk。同时，大页减少了页表层级，例如 2MB 大页在 x86 下只需 2 级页表描述，省去中间层，页表本身占用的内存也大幅下降。对于内存数据库、JVM 等大内存工作负载，TLB 命中率可提升一个数量级。

大页的本质是用"更少的条目覆盖更多的内存"来缓解 TLB 容量有限与内存规模巨大的矛盾，是典型的空间换时间优化。

• mmap 仅建立虚拟映射，不立即分配物理页
• 文件映射与匿名映射的缺页差异
• CoW 与 MAP_SHARED/MAP_PRIVATE

mmap 本质上只是在进程的虚拟地址空间建立 VMA（虚拟内存区域）映射，并不立即分配物理页或读取文件内容，物理页在首次访问时通过缺页（page fault）按需加载。文件映射（MAP_SHARED/MAP_PRIVATE）的缺页会从页缓存或磁盘读取文件内容，MAP_PRIVATE 采用写时复制（CoW），首次写时复制一份私有副本。匿名映射（MAP_ANONYMOUS）的缺页则分配零页或新物理页。这种惰性分配机制节省了内存并加速了启动。

"按需分配、缺页驱动"是虚拟内存的基石，mmap 把地址分配与物理内存分配解耦，是性能与内存利用的关键。

• EPT 两级地址转换的 TLB 压力
• guest 内存用大页 backing 减少 EPT 层级
• qemu 的 memory-backend-file 配置

虚拟化中 CPU 进行两级地址转换：guest VA→guest PA→host PA，分别由 guest 页表和 EPT（扩展页表）完成。guest 物理内存若用 4KB 页 backing，EPT 需多级展开，且 host TLB 需同时缓存 guest 和 EPT 的转换，TLB miss 率升高。若 guest 物理内存用 2MB/1GB 大页 backing，EPT 层级显著减少，host TLB 覆盖范围大增，TLB miss 大幅下降。qemu 通过 -object memory-backend-file,mem-path=/dev/hugepages 或 -mem-path 指定大页 backing，显著提升虚拟机性能。

这是大页在虚拟化场景的典型价值：两级转换放大了 TLB miss 的代价，大页 backing 同时压缩 guest 与 EPT 的页表层级。

• khugepaged 的扫描与 collapse 过程
• collapse 的 CPU 和内存开销
• 高负载下的建议

khugepaged 是内核后台线程，周期性扫描各进程的 VMA，寻找连续的匿名小页（4KB）并尝试合并（collapse）为 2MB 大页。collapse 需要复制页到连续的 2MB 区域、更新页表、并处理锁竞争，CPU 开销可观，且复制过程中会占用额外内存。在实时性要求高或高负载场景下，khugepaged 的扫描和 collapse 会引入不可预测的延迟与内存抖动，因此常建议关闭（echo never > .../transparent_hugepage/enabled）或通过 madvise(MADV_HUGEPAGE) 按 VMA 精确控制，避免全局扫描。

这是"后台自动优化"与"应用可控"之间的权衡：THP 的收益要以可预测性为代价，精细控制是关键。

• TLB 命中率与 TLB 覆盖
• 1GB 大页的覆盖能力
• JVM 大堆场景

JVM 堆通常有数 GB 甚至数十 GB，用 4KB 页时 TLB 覆盖范围极小，工作集远超 TLB 容量，TLB miss 频繁。启用 -XX:+UseLargePages 并使用 1GB 大页后，一个 TLB entry 覆盖 1GB，几十 GB 的堆只需几十个 TLB entry 即可覆盖，TLB miss 显著下降，可达 90% 以上。page table walk 减少，访问大堆的性能明显提升。

TLB miss 率取决于工作集与 TLB 覆盖范围之比，1GB 大页将覆盖范围放大 262144 倍（相对 4KB），命中率自然跃升。

• THP 的自动与隐式特性
• 显式大页的可控性
• 数据库对确定性要求

THP 自动化、无需应用改动，但引入了 collapse/split 的不可预测延迟和 COW 放大，对延迟敏感的数据库不友好。显式大页（hugetlbfs）需要提前预留、应用显式调用，但行为确定、无后台扫描干扰，适合数据库把 buffer pool 等大块内存映射到大页。数据库通常选择显式大页或彻底关闭 THP，以获得稳定的性能。

数据库的核心诉求是低延迟和确定性，因此宁可牺牲自动化的便利也要换取可预测性，这是取舍的关键。

• 静态预留 vs 动态合并
• 两者能否共存
• 配置方式

hugepages 预留是静态的：通过 nr_hugepages 或启动参数预先固定一批大页，专供 hugetlbfs 使用，应用需显式调用。THP 是动态的：内核在运行时自动把匿名小页合并为大页，无需预留和显式调用。两者可以共存：预留的大页用于显式映射，THP 处理普通匿名页。配置上，hugepages 通过 nr_hugepages 控制预留数量，THP 通过 /sys/kernel/mm/transparent_hugepage/enabled 控制开关。

一句话区分：hugepages 是"提前预留、显式使用"，THP 是"运行时自动、对应用透明"。

• hugetlb cgroup 的限额字段
• 与 memory cgroup 的范围差异
• 大页的隔离性

hugetlb cgroup 通过 hugetlb.2MB.limit_in_bytes、hugetlb.1GB.limit_in_bytes 等字段，为 cgroup 内的进程组限制大页（hugetlbfs）的使用上限，防止某个容器/进程组耗尽系统预留的大页。它与普通 memory cgroup 的差异在于：memory cgroup 限制的是可回收的普通内存（匿名页+页缓存），而 hugetlb cgroup 限制的是不可回收的预留大页，二者作用域和资源性质不同，分别独立统计和限额。

大页是稀缺、不可回收的静态资源，需要独立的限额机制，hugetlb cgroup 正是为此设计，与可回收的普通内存 cgroup 互补。