研究方法：该论文通过理论分析和实验验证，系统地追溯了RoPE-trained Transformer中绝对位置信息的来源。研究者将泄露源追踪到两个关键的架构组件：因果掩码（Causal Mask）和残差流（Residual Stream）。首先，因果掩码的存在使得每个查询（query）位置的softmax分母计算依赖于该查询的绝对位置，因为不同位置的查询所能注意到的键（key）的数量不同。其次，在因果注意力机制下，位置0的激活值只能关注自身，形成了一个封闭的动力系统。这个系统的状态会沿着残差流传播，从而将绝对位置信息编码到后续所有位置的表示中。论文通过设计精巧的消融实验和理论推导，量化了这两种机制各自对绝对位置信息的贡献度。

研究摘要：本研究深入探讨了在仅解码器Transformer中，尽管使用了仅编码相对偏移的旋转位置编码（RoPE），模型为何仍能区分绝对位置。研究者通过严谨的理论分析和大量实验，揭示了这一现象背后的两个核心机制。第一，因果掩码的固有属性：在因果注意力中，位置i的查询只能关注到位置0到i的键。这意味着softmax函数的分母（即所有注意力分数的指数和）会随着i的增大而包含更多项。因此，即使RoPE只编码相对距离，不同位置的查询在计算注意力分布时，其归一化常数本身就携带了绝对位置信息。第二，残差流的传播效应：在序列的起始位置（位置0），由于因果掩码的限制，其激活值只能关注自身。这导致位置0的表示在层与层之间形成一个封闭的、自循环的动力系统。这个系统的状态会沿着残差流逐层向下传递，并影响后续所有位置的表示，从而将位置0的“绝对身份”信息编码到整个序列的表示中。研究者通过构建一个简化版的Transformer模型，从数学上证明了这两种机制的存在，并推导了绝对位置信息在注意力分数中的表达形式。实验部分，他们在多种规模和配置的Transformer模型上进行了验证，通过对比使用RoPE、绝对位置编码和无位置编码的模型，量化了因果掩码和残差流各自对绝对位置信息泄露的贡献。结果表明，即使移除残差流的影响，仅凭因果掩码也足以让模型学习到一定程度的绝对位置信息。而当两者同时存在时，模型对绝对位置的区分能力显著增强。这一发现挑战了RoPE仅编码相对位置的普遍认知，为理解Transformer的位置编码机制提供了新的视角。

观点解读：1. 行业贡献：该论文对Transformer架构的基础理论做出了重要贡献。它澄清了RoPE位置编码的一个长期存在的谜团，即为何相对位置编码的模型能表现出绝对位置感知能力。这一发现对于模型设计者具有直接的指导意义，例如在需要强外推能力的场景下，可能需要重新审视因果掩码和残差流的设计，或者开发新的位置编码方案来抑制这种不必要的绝对位置泄露。2. 技术影响：该研究揭示了模型架构中看似无关的组件（因果掩码和残差流）之间复杂的相互作用。这提醒研究人员，在分析和改进模型时，不能孤立地看待某个模块，而需要考虑其与整个架构的耦合效应。此外，该发现可能对长文本建模和推理效率优化产生影响。如果模型过度依赖绝对位置信息，其外推到更长序列的能力可能会受限。未来的工作可以探索如何利用或抑制这种泄露，以设计出更高效、更具泛化能力的位置编码方法。