盖世汽车讯 基于Transformer的架构在计算机视觉和自然语言处理等领域日益占据主导地位，但将其应用于安全至关重要的汽车系统则需要对可靠性给予严格关注。 据外媒报道，慕尼黑工业大学（Technical University of ...

深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。 研究人员对传统的两种RNN架构LSTM和GRU，进行了大刀阔斧的改造，从中诞生了两个新模型：minLSTM和minGRU。

编辑｜PandaTransformer 是当前 LLM 大发展的核心基础，但也有不少顶尖研究者更愿意探索其它道路。在这其中，甚至包括 Transformer 的创造者之一、Sakana AI 创始人联创兼 CTO Llion Jones。他今天还在 Sakana 的官推上发了一篇博客，题目便赫然是《为什么 Transformer 的这位创造者受够了 Transformer》。https://x.c ...

【新智元导读】Transformer曾是AI革命的巅峰之作，但其发明者Llion Jones警告：它并非终点。就像RNN被取代一样，当前无数微调研究可能只是局部优化，而真正的AGI突破或藏在生物启发的全新架构中。 Transformer是AI的终点吗？ 不是，绝对不是。 那Scaling是唯一通向AGI的路径吗？ 在Transformer架构上研究最久的人，告诉你：不是。 Sakana AI的创始 ...

【新智元导读】 就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了！完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了！

另外，借助这笔交易，谷歌也得以将 David Ha 和 Llion Jones 这对组合重新纳入自己的势力范围——一位是谷歌日本 AI 研究的开创者，一位是 Transformer ...

这是一个连续时间模型，由多个简单的动态系统组成，这些系统通过非线性门相互调节。这种网络的特点是时间常数可变，输出通过求解微分方程得到。它在稳定性、表达能力和时间序列预测方面都优于传统模型。

这一组工作没有继续在现有架构上做简单的增量修补，而是从位置编码的移除（DroPE）、 位置感知的重构（REPO）以及动态记忆机制的引入（FwPKM）三个维度，对 Transformer 处理长序列的方式提出了系统性的质疑与重构方案。

在 Transformer 架构的基础上，微云全息基于“Masked 预训练”策略。这种策略最初源于 BERT 模型在语言理解任务中的成功经验，被证明能够有效捕捉序列中元素间的深层次关系。微云全息研究团队将其迁移到红外光谱数据建模中，提出了一种自监督学习框架，用于从大规模无标签的红外光谱数据中自动学习鲁棒特征。

在人工智能领域的最新讨论中，Transformer的创始人对当前AI研究的发展方向表示强烈不满。他指出，现阶段的AI技术似乎陷入了一个死胡同，尤其是微调（fine-tuning）技术的广泛应用，几乎完全是时间的浪费。 他在最近的一次公开演讲中表示，尽管微调被视为提升模型性能的重要手段，但在实践中，这一过程往往未能带来显著的效果。相反，过度依赖微调可能导致研究人员忽视更为根本的创新和理论突破。他强调 ...

因为公众号平台更改了推送规则。记得点右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。 由于Transformer模型的出现和快速发展，深度学习领域正在经历一场翻天覆地的变化。这些突破性的架构不仅重新定义了 ...