SIMD 与向量指令集（SSE/AVX/NEON/SVE/RVV）

• SIMD 概念
• 向量寄存器
• 数据并行

SIMD（Single Instruction, Multiple Data，单指令多数据）用一条指令同时处理多个相同类型的数据。原理：CPU 提供宽向量寄存器（如 SSE 128 位、AVX 256 位、AVX-512 512 位），把寄存器的位宽拆分成多个 lane，每个 lane 放一个数据元素（如 128 位寄存器可放 4 个 float 或 2 个 double）。一条 SIMD 指令对寄存器内所有 lane 同时执行同一运算（如 4 个 float 同时相加），硬件的一个执行单元（vector ALU）在单周期内并行完成所有 lane 的运算。这样单次指令完成多个标量运算，数据并行地提升吞吐量。前提是数据可并行处理（元素间无依赖），适合图像、数组、矩阵等。

SIMD 的并行是"数据级并行"（DLP）：同一操作施加到多个数据。寄存器宽度决定 lane 数，指令只译码一次但对所有 lane 执行，是"一指令多数据"的本质。

• AoS 布局
• SoA 布局
• 向量化

AoS（Array of Structs）把对象一个接一个存放，每个对象含多个字段（如 struct Point{float x,y,z;} 的数组），同一字段的相邻元素在内存中相隔"结构体大小"（不连续）。SoA（Struct of Arrays）把每个字段单独存成数组（如 float x[], y[], z[]），同一字段的元素连续存放。对 SIMD 向量化：SoA 让同一字段的元素连续，可直接加载为向量（一条 load 取多个元素的 x），连续访问、无间隔，编译器易向量化；AoS 的同一字段元素不连续，需 gather/重组（把分散的 x 元素收集到向量），向量化困难、开销大。因此 SoA 更易被编译器向量化，且访存更高效。

SoA 的"字段连续"天然适配 SIMD 的连续向量加载，AoS 的"字段交错"破坏连续性。这是数据布局对 SIMD 性能影响的核心，也是性能优化中 AoS→SoA 转换的原因。

• SSE 128 位
• 4 个 float
• 对齐加载

SSE 寄存器 128 位，可容纳 4 个 float（32 位）。对 16 字节对齐的 float 数组，可用 movaps（对齐加载）一次把 4 个 float 载入 xmm 寄存器，用 SSE 指令（如 addps 同时加 4 个 float）并行处理，再用 movaps 存回。C 内嵌（intrinsics）示例：__m128 v = _mm_load_ps(&a[i]); __m128 r = _mm_add_ps(v, v2); _mm_store_ps(&a[i], r); 其中 _mm_load_ps 要求 16 字节对齐（否则用 _mm_loadu_ps 未对齐）。循环按 4 个元素步进，一次处理 4 个 float。

16 字节对齐 + 128 位寄存器 = 4 个 float。用对齐加载 movaps/_mm_load_ps 一次载入 4 个，addps 并行加，实现"一次处理 4 个"。

• NEON 寄存器
• v0-v31
• 命名视图

AArch64 的 NEON 有 32 个 128 位向量寄存器 v0-v31。同一寄存器有不同宽度的视图/别名：v0 的 128 位视图为 v0.16B（16 字节）、v0.8H（8 个半字）、v0.4S（4 个单字）、v0.2D（2 个双字）；64 位视图为 v0.8B、v0.4H、v0.2S、v0.1D。低 64 位也作为 d0-d31（双精度 SIMD），低 32 位为 s0-s31（单精度），低 16 位 h0-h31，低 8 位 b0-b31。命名规则：v<寄存器>.<大小><类型>，如 v0.4s 表示 v0 的 4 个单精度 float。这让同一物理寄存器按不同数据类型/宽度访问。

NEON 的 v0-v31 是 128 位向量寄存器，用 .16B/.8H/.4S/.2D 等后缀指定视图（lane 类型）。d/s/h/b 是 64/32/16/8 位别名，是 SIMD 寄存器多视图的体现。

• SVE 可伸缩
• NEON 固定长度
• 硬件无关

NEON 的向量长度固定（128 位），软件必须按 128 位编写，升级到更大向量时需重写代码。SVE（Scalable Vector Extension）的核心是"可伸缩向量长度"（Scalable Vector Length）：向量长度由硬件决定（VL，128 位到 2048 位，步长 128 位），由专用寄存器 VL 控制，指令写的是"处理任意长度"的语义，运行时由硬件按实际向量长度执行。这样同一份 SVE 代码能在不同 VL 的硬件上运行，无需为不同宽度重写，且前瞻性支持未来更宽向量。此外 SVE 支持谓词（predicate）寄存器做元素级掩码、非连续访存等。核心差异：NEON 固定 128 位，SVE 长度可伸缩、硬件无关。

SVE 与 NEON 的根本差异是"向量长度是否固定"。SVE 用 VL 表示可伸缩长度，代码硬件无关，可移植到任意宽度实现，是面向未来/异构的可扩展方案。

• mask register
• k1-k7
• 元素掩码

AVX-512 引入 8 个掩码寄存器 k0-k7（其中 k0 特殊，通常全 1，作无条件掩码）。mask register 用于对向量操作做元素级掩码：每个 bit 对应一个数据元素（如 512 位寄存器 16 个 float 用 16 个 bit），bit 为 1 表示该元素参与运算，0 表示不参与（被抑制/置零）。例如 vaddps zmm1{k1}, zmm2, zmm3 表示只有 k1 中为 1 的 lane 执行加法，其余 lane 按 merge 或 zeroing 策略处理。mask 用于条件计算、循环尾部处理、比较后选择元素等，避免分支，提升向量化效率。k1-k7 是通用掩码，k0 常作全 1（无掩码）。

AVX-512 的 mask register 提供"元素级谓词"，用 bit 控制每个 lane 是否执行，支持 merge/zeroing 语义，是 AVX-512 处理条件/尾部的重要特性。

• SSE 128 位
• AVX 256 位
• AVX-512 512 位

SSE 用 128 位寄存器（xmm0-xmm15，16 个）。AVX 扩展为 256 位（ymm0-ymm15，16 个，每个 ymm 是 256 位，低 128 位与 xmm 重叠）。AVX-512 扩展为 512 位（zmm0-zmm31，32 个，且 ymm 扩展到 32 个）。位宽演进：128 → 256 → 512 位，寄存器数量从 16 增至 32。寄存器位宽决定单指令能并行处理的数据量（128 位 4 个 float、256 位 8 个 float、512 位 16 个 float），是 SIMD 吞吐的核心。AVX-512 的 512 位宽带来更高吞吐，但可能引起降频（功耗/散热）。

SIMD 寄存器位宽（128/256/512）与数量（16/32）说明向量化能力。位宽越大，单指令处理数据越多，但功耗/降频代价也高。

• 数据并行
• 任务并行
• SIMD vs 线程

SIMD 是"数据级并行"（DLP）：同一操作应用到大量数据元素，适合数据并行（如对数组每个元素做同一运算）。因为 SIMD 用单指令处理多数据，要求"操作相同、数据独立"，数据并行天然匹配。线程并行是"任务级/线程级并行"（TLP）：不同线程执行不同的任务/代码路径，适合任务并行（不同功能、不同分支、不同控制流）。线程并行能处理不同数据、不同操作、不同控制流，但开销大（线程切换、同步）；SIMD 开销小但要求同构操作。因此：数据并行用 SIMD（同一操作多数据），任务并行用线程（多操作多数据）。

SIMD 匹配"同构数据、同操作"的数据并行，线程匹配"异构任务、不同控制流"的任务并行。二者是不同粒度的并行，常结合使用。

• SSE→AVX
• AVX-512
• 渐进升级

x86 从 SSE（128 位）升级到 AVX（256 位）再发展到 AVX-512，是"渐进式"而非"一步到位"的原因包括：一是兼容性与迁移成本，AVX 的 256 位寄存器与 SSE 的 128 位寄存器是重叠的（ymm 低 128 位即 xmm），软件可平滑迁移，且 AVX 指令集在大多 x86 上已普及；二是 CPU 功能划分，AVX 是通用主流，AVX-512 早期主要面向服务器/高性能（至强），消费级延迟引入，且 512 位宽带来功耗/降频问题；三是功耗与散热，512 位执行单元面积大、功耗高、易降频，不适合所有产品线。因此先普及 256 位 AVX，再按产品段逐步引入 AVX-512，兼顾兼容、性能与功耗。

渐进升级是"兼容性 + 功耗 + 产品定位"的权衡。AVX 与 SSE 兼容性好、普及广，AVX-512 因功耗/降频按需引入。这是 ISA 演进与硬件实现的平衡。

• 自动向量化
• 失败原因
• 依赖分析

编译器自动向量化需要证明循环"可向量化"：元素间无数据依赖、无别名（pointer aliasing，如两个指针可能指向同一内存）、控制流可预测、无跨迭代依赖、循环边界可整除等。经常失败的原因：一是数据依赖（循环体内的写读依赖，如 sum 累加、a[i]=a[i-1] 的相邻依赖）；二是别名歧义（指针可能重叠，编译器无法证明无别名而保守放弃，需 restrict 提示）；三是条件分支/复杂控制流（使向量化难）；四是循环计数不固定/非整数倍（尾部处理复杂）；五是内联函数调用、非连续访存（gather 成本高）。这些让编译器无法安全/高效向量化，于是放弃或需要手动 intrinsics/restrict 提示。

自动向量化难在"证明安全"：依赖、别名、控制流都是障碍。编译器保守，无法证明就放弃。程序员用 restrict、简化依赖、SoA 布局可帮助向量化。

• SME
• SVE
• 矩阵层级

SVE（Scalable Vector Extension）是"可伸缩向量"扩展，处理一维向量（一次操作 N 个元素，向量长度可伸缩）。SME（Scalable Matrix Extension）是 SVE 之上更高层级的"可伸缩矩阵"扩展，新增可伸缩的二维寄存器（ZA 矩阵寄存器，维度 VL×VL），支持"外积"（outer product）等矩阵运算，能在单条指令中更新矩阵的行/列，面向矩阵乘法、神经网络、机器学习等密集矩阵计算。SME 包含 SVE2 的子集，并增加矩阵 tile 寄存器与特殊指令（如 mzero、mouter）。层级差异：SVE 是一维向量（可伸缩长度），SME 是二维矩阵（可伸缩维度），SME 建立在 SVE 之上、更面向矩阵/ML 工作负载。

层级：SVE 处理一维向量，SME 处理二维矩阵（可伸缩的 ZA 寄存器）。SME 是 SVE 的矩阵级扩展，针对矩阵乘法/ML 优化，是更高层的计算抽象。

• intrinsics
• 汇编指令
• 映射关系

SIMD intrinsics（内建函数）是 C/C++ 中提供的、近似汇编指令的"内联函数"，如 _mm_add_ps、_mm_load_ps。每个 intrinsic 通常对应一条（或几条）SIMD 汇编指令（如 _mm_add_ps → addps）。程序员用 intrinsics 编写向量运算，编译器负责把 intrinsic 映射到对应汇编指令、分配寄存器、调度。相比直接写汇编，intrinsics 更高级、可移植（同一 intrinsic 在不同编译器/平台生成对应指令）、编译器可优化（寄存器分配、调度），同时保留了底层的控制力（不能靠编译器自动发现向量化机会）。intrinsics 让程序员在"遵循类型系统"下获得接近汇编的 SIMD 控制，是手写向量化的主流方式。

intrinsics 是"汇编的 C 封装"：每个 intrinsic 映射到具体 SIMD 指令，编译后生成对应汇编。它给程序员精确控制，同时让编译器做寄存器分配与调度，比手写汇编更安全高效。

• 寄存器宽度演进
• AVX-512
• 降频

指令集演进：SSE 用 128 位寄存器，AVX 扩展 256 位（ymm），AVX-512 扩展 512 位（zmm），NEON 固定 128 位（v0-v31），SVE 可伸缩。宽度增加使单指令处理更多数据（吞吐提升），但带来功耗/散热问题：宽向量执行单元（512 位）面积大、功耗高，长时间高负载的 512 位运算会触发 CPU 降频（thermal/power throttling），导致实际性能可能低于使用 256 位。因此 AVX-512 的"降频"问题使其并非在所有场景都占优，Intel 在消费级/服务器有取舍，且用 downclock 策略限制。宽向量提升吞吐但受功耗墙约束，这是 SIMD 宽度演进的核心权衡。

SIMD 宽度（128/256/512）提升吞吐，但 512 位宽执行单元功耗大、易降频。AVX-512 的降频是"吞吐 vs 功耗"的体现，是选型时需权衡的点。

• 可变向量长度
• 异构核心
• 可移植性

SVE（ARM）与 RVV（RISC-V Vector Extension）都采用"可伸缩向量长度"：向量长度由硬件决定（VL/VLEN），指令写"处理任意长度"的语义，运行时按实际宽度执行。这适合 ARM/RISC-V 的异构核心（大小核）是因为：同一芯片上可能有不同向量宽度的核（如小核 128 位、大核 512 位），若向量长度固定（如 NEON 128 位），大核的宽向量能力无法发挥，且移植到不同宽度需重写。用可伸缩长度，一份代码在所有核上都能"按各自宽度"运行，无需分支/重写，实现"一次编写、多宽度运行"，契合异构 SoC 与跨代可扩展。这是 SVE/RVV 面向异构/可扩展生态的设计动机。

可变向量长度让代码"长度无关"，适合异构核心（不同核不同宽度）与跨代硬件。这是 SVE/RVV 相对固定宽度 NEON 的核心优势。

• movaps vs movups
• 对齐性能
• assume_aligned

movaps（对齐加载）要求 16 字节对齐，movups（未对齐加载）不要求。对齐加载因数据落在单个 cache line、无需跨行拼接，通常更快；未对齐加载若数据跨 cache line 边界，需加载两行并拼接，性能略差。现代 CPU 上，未对齐加载的惩罚已大幅缩小（对齐与未对齐差异变小），但当数据跨页/跨 cache line 时差异仍显著。__builtin_assume_aligned(ptr, 16) 告诉编译器"该指针保证 16 字节对齐"，编译器据此生成 movaps（对齐指令）而非 movups，且可省略对齐检查，生成更优的对齐访问代码。程序员用 assume_aligned 承诺对齐，让编译器放心用对齐访存。

对齐访存避免跨行拼接，性能更优（尤其跨行/跨页时）。__builtin_assume_aligned 向编译器承诺对齐，使其生成 movaps 等对齐指令，减少对齐开销。

• 横向归约
• shuffle+add
• 开销

SIMD 擅长"纵向"并行的数据（lane 之间独立），但"横向归约"（把向量内所有 lane 累加成一个值，如求 4 个 float 之和）需要把不同 lane 的数据加在一起，这需要"跨 lane"操作。SSE 没有单条"垂直求和"指令，需用 shuffle（交换 lane）+ add 组合：先纵向加得到 2 个部分和，再 shuffle 交换 + 加，再 shuffle + 加，最终得到一个标量和。对 4 个 float，约需 2 次 shuffle + 2 次 add（把 4 lane 归约到 1）。相对标量求和（4 次 add）的开销：横向归约需要额外的 shuffle 指令，且这些 shuffle-add 有依赖链（串行），延迟较高；单个标量求和成本低，但多组数据并行时 SIMD 整体吞吐仍高。横向归约是 SIMD 的薄弱环节，开销大于纵向运算。

横向归约需"跨 lane"的 shuffle+add，依赖链串行，开销高于纵向并行。故 SIMD 擅长"点对点"（纵向）运算，横向归约是特例。处理多组数据时可用"多向量并行归约"摊薄。

• RVV
• vlen 寄存器
• vtype 寄存器

RVV（RISC-V Vector Extension）用 CSRs 控制向量执行：vlen（vlenb，vector length in bytes）只读，表示向量寄存器（v0-v31）的最大长度（字节数），由硬件决定（如 128/256/512 位对应 16/32/64 字节）。vtype（vector type）可写，配置向量执行的关键参数：SEW（selected element width，元素宽度，如 8/16/32/64 位）、LMUL（vector length multiplier，向量长度倍数，决定每指令处理的元素数）、vta/vma（尾部/掩码行为）。vl（vector length）寄存器决定实际处理的元素数（受 vlen 与 vtype 限制）。通过 vsetvli 指令设置 vtype/vl，使代码自适应硬件向量长度。vlen 是硬件固定的"最大长度"，vtype 是软件可配的"元素/长度配置"。

vlen 是硬件给出的向量最大长度（只读），vtype 是软件配置的 SEW/LMUL，vl 决定实际处理元素数。RVV 用这些 CSR 实现"可伸缩、长度无关"的向量编程。

• 自动向量化
• 手写 intrinsics
• 取舍

编译器自动向量化：编译器在 -O3/-ftree-vectorize 下自动把可向量化的循环转成 SIMD 指令，无需人工干预、可移植、易维护，但依赖编译器能否证明"安全可向量化"（依赖、别名、控制流），对复杂或不规则代码常失败。手写 intrinsics：程序员用 mm* 等内建函数显式写向量运算，可控性强、能处理编译器无法向量化的场景（不规则访存、特殊算法），但代码复杂、不可移植（依赖特定 ISA）、维护成本高。应用策略：优先用自动向量化（简单、可移植），对热点/编译器失败处用手写 intrinsics 或 intrinsic 封装。二者互补，自动向量化是默认，手写是补充。

自动向量化省力但保守，手写 intrinsics 可控但复杂。实际工程先自动向量化，识别瓶颈再手写优化，是"便利 vs 控制"的取舍。

• 饱和加
• paddusb
• 溢出行为

图像处理中，像素值（如 0-255）相加后需防止溢出（255+1 应钳到 255）。普通加法再 clamp：先加得到可能溢出的值（如 300），再分支/比较钳到 255，需要额外的比较与分支指令，且不能向量化处理溢出。paddusb（无符号饱和加）是 SIMD 饱和指令：直接对无符号字节做饱和加法，结果超过 255 自动钳到 255，低于 0 钳到 0，单条指令完成"加 + 饱和"，无需 clamp 分支。优势：一条指令完成饱和运算（相对普通加+clamp，省去分支/比较），可向量化（一次处理多个像素），无分支预测损失，吞吐高。溢出行为差异：普通加法是环绕（wrap-around，如 255+1=0），饱和加是钳制（saturate，255+1=255），图像处理需要饱和而非环绕。

paddusb 用"饱和"替代"环绕+clamp"，单条指令完成饱和加，省分支、可向量化。溢出行为：普通加环绕、饱和加钳制，图像处理要钳制。