你是否好奇为什么现在的网络能深达百层、千层，而早期的网络连十几层都难以训练？ 这一切的巨大转变，都离不开一篇2015年的神作——《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它被誉为深度学习的“润滑油”和“加速器 ...

ICML2025年时间检验奖（Test of Time）颁给了Batch Normalization。在这篇发表于2015年的论文中，作者提出深度神经网络训练中的“内部协变量偏移”问题。直观理解，就是隐藏层的数据分布会随着训练的进行而变化，而前一层的变化又会影响下一层的学习。这种层与层 ...

公平类的调度算法强调的是一个公平，比如有5个任务，则每个人分享20%的CPU。这是一种人人平等的理想情况，实际情况下，nice值会决定任务的权重，nice值位于[-20, 19]之间，nice越低，权重越高，应该获得更多的CPU。nice意味着与人为善，比如坐地铁看到老人或者 ...

本文转自深度学习这件小事，文章仅用于学术交流。 常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、做文章的，以不同 ...