Llama.cpp RMSNorm CUDA 优化分析报告 RMSNorm 背景与原理 RMSNorm（Root Mean Square Normalization）是一种替代LayerNorm的归一化技术，通过去除均值计算降低计算开销。核心公式如下： [ y = \frac{x}{\sqrt{\text{mean}(x^2) + \epsilon}} \odot \gamma ] 其中 (x) 是输入向量，(\gamma) 是可学习参数，(\epsilon) 为极小值防止除零。 CUDA 优化策略分析 内存访问优化 采用合并内存访问（Coalesced Memory Access）策略，确保...