过去八年，Transformer 几乎重塑了整个人工智能研究版图。自 2017 年 Google 在「Attention Is All You ...

【新智元导读】 就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了！完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了！

另外，借助这笔交易，谷歌也得以将 David Ha 和 Llion Jones 这对组合重新纳入自己的势力范围——一位是谷歌日本 AI 研究的开创者，一位是 Transformer ...

【新智元导读】Transformer曾是AI革命的巅峰之作，但其发明者Llion Jones警告：它并非终点。就像RNN被取代一样，当前无数微调研究可能只是局部优化，而真正的AGI突破或藏在生物启发的全新架构中。 Transformer是AI的终点吗 ...

这是一个连续时间模型，由多个简单的动态系统组成，这些系统通过非线性门相互调节。这种网络的特点是时间常数可变，输出通过求解微分方程得到。它在稳定性、表达能力和时间序列预测方面都优于传统模型。

这一组工作没有继续在现有架构上做简单的增量修补，而是从位置编码的移除（DroPE）、 位置感知的重构（REPO）以及动态记忆机制的引入（FwPKM）三个维度，对 Transformer 处理长序列的方式提出了系统性的质疑与重构方案。

站在2026年的开端回望，LLM的架构之争似乎进入了一个新的微妙阶段。过去几年，Transformer架构以绝对的统治力横扫了人工智能领域，但随着算力成本的博弈和对推理效率的极致追求，挑战者们从未停止过脚步。 知名AI研究员Sebastian ...

在去年12月，Etced就曾火过一阵，当时两位哈佛辍学小哥的2人公司，估值已经高达3400万刀。当时Sohu号称LLM推理性能达到H100的10倍，单价吞吐量更是高达140倍。

这是一个连续时间模型，由多个简单的动态系统组成，这些系统通过非线性门相互调节。这种网络的特点是时间常数可变，输出通过求解微分方程得到。它在稳定性、表达能力和时间序列预测方面都优于传统模型。

2022年，我们打赌说transformer会统治世界。 我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。 但对于transformer来说，Sohu是有史以来最快的芯片。 借助Llama 70B每秒超过50万个token的吞吐量，Sohu可以让您构建在GPU上无法实现的 ...

在 Transformer 架构的基础上，微云全息基于“Masked 预训练”策略。这种策略最初源于 BERT 模型在语言理解任务中的成功经验，被证明能够有效捕捉序列中元素间的深层次关系。微云全息研究团队将其迁移到红外光谱数据建模中，提出了一种自监督学习框架，用于从大规模无标签的红外光谱数据中自动学习鲁棒特征。

导语：非 Transformer 面临的共同考验依然是证明自己的天花板有多高。 【雷峰网(公众号：雷峰网)】2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。 Transformer 由于其 ...