编辑｜PandaTransformer 架构中的注意力机制是根据内容（what）和序列中的位置（where）将键（key）与查询（query）进行匹配。而在近期 LSTM 之父 Jürgen Schmidhuber 的 USI & SUPSI 瑞士 ...

在人工智能领域，尤其是深度学习的前沿研究中，位置嵌入技术一直扮演着至关重要的角色。近期，LSTM之父Jürgen Schmidhuber及其团队在瑞士的USI与SUPSI实验室中推出了一项名为极坐标位置嵌入（PoPE）的新技术，旨在解决当前旋转位置嵌入（RoPE）方法中的一些关键问题。

在深度学习领域，注意力机制的演变无疑是一个重要的里程碑。近日，LSTM之父Jürgen Schmidhuber及其团队在瑞士的USI&SUPSI实验室中，提出了一种全新的极坐标位置嵌入（Polar Coordinate Position Embedding，简称PoPE）方法，旨在解决当前流行的旋转位置嵌入（RoPE）所面临的泛化难题。

长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。 但是，LM 通常只在较短窗长下进行训练，可能产生过拟合，只学习到指定 ...

研究团队从群论这一数学分支中获得灵感，发现可以用"群作用"的概念来统一理解位置编码。群论听起来很抽象，但实际上就像是描述对称性和变换规律的数学工具。比如，当你转动一个正方形，它有四种旋转方式仍然看起来一样——这就是一种群作用。