基于NL的观点，谷歌团队使用反向传播和梯度下降训练深度神经网络，本质上是一个压缩与优化问题，其目标是训练一种联想记忆（associative memory），以将各层的输入映射到其预测中对应的局部误差。

「灾难性遗忘」，一个困扰了AI界几十年的幽灵，这一次或许被彻底解决了。 过去一年，AI突飞猛进，绝非夸张的修辞，仅谷歌DeepMind一年的成就，就让人眼花缭乱： 但如果DeepMind要选2025年最重要的研究或产品，那最近火爆的嵌套学习「Nested Learning」必有一席之地。

嵌套学习突破AI持续学习瓶颈，或开启AGI新时代。 借鉴人类联想记忆，嵌套学习让AI在运行中构建抽象结构，超越Transformer的局限。谷歌团队强调：优化器与架构互为上下文，协同进化才能实现真正持续学习。这篇论文或成经典，开启AI从被动训练到主动进化的 ...

2022年，我们打赌说transformer会统治世界。 我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。 但对于transformer来说，Sohu是有史以来最快的芯片。 借助Llama 70B每秒超过50万个token的吞吐量，Sohu可以让您构建在GPU上无法实现的 ...

谷歌研究科学家 David Ha：Transformer 是新的 LSTM。 2017 年 6 月谷歌发布论文《Attention is All You Need》时，我们或许都没有意识到它提出的 Transformer 架构将带来多少惊喜。 在诞生至今不足四年的时间里，Transformer 不仅成为自然语言处理领域的主流模型（基于 Transformer ...