☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
归一化通常用于解决神经网络中梯度爆炸或消失的问题。它通过将特征的值映射到[0,1]范围内来工作，使得所有值都处于相同的比例或分布中。简单来说，归一化规范了神经网络的输入并提高了训练速度。
归一化的两种类型
主要有两种类型的归一化技术，即：
- 批量归一化
- 层归一化
批量归一化(Batch Normalization)
为了获得隐藏层的输出，我们通常会使用非线性激活函数对输入进行处理。而对于每个特定层中的神经元，我们可以对其进行预激活，使其具有零均值和单位标准偏差。这可以通过对小批量输入特征进行平均值减法和标准差除法来实现。
然而，将所有预激活强制为零并且所有批次的单位标准差可能过于严格，因此引入一定的波动分布可以更好地帮助网络学习。
为了解决这个问题，批量归一化引入了两个参数：比例因子gamma(γ)和偏移量beta(β)，两者均为可学习的参数。
在批量归一化中，我们需要注意使用批量统计。当批量较小时，样本均值和标准差不足以代表实际分布，这会导致网络无法学到有意义的东西。因此，我们需要确保批量大小足够大，以获取更准确的统计信息，从而提高模型的性能和学习效果。
层归一化(Layer Normalization)
层归一化是由研究人员Jimmy Lei Ba、Jamie Ryan Kiros和Geoffrey E.Hinton提出的方法。该方法的核心思想是在特定层中的所有神经元上，对于给定输入的所有特征，都具有相同的分布。 与批归一化不同，层归一化是在每个样本的特征维度上进行归一化操作。它通过计算每个神经元在输入特征上的均值和方差，来对该层的输出进行归一化。这种方法可以帮助模型对数据的小批量进行适应，提高模型的泛化能力。 层归一化的优势在于，它不依赖于批
对所有特征进行归一化，但对特定层的每个输入进行归一化，消除了对批次的依赖。这使得层归一化非常适合序列模型，例如流行的Transformer和递归神经网络(RNN)。
批量归一化和层归一化的主要区别
1.批量归一化在小批量中独立地归一化每个特征。层归一化跨所有特征独立地归一化批处理中的每个输入。
2.由于批量归一化取决于批量大小，因此它对小批量无效。层归一化与批量大小无关，因此它也可以应用于较小尺寸的批量。
3.批量归一化需要在训练和推理时进行不同的处理。由于层归一化是沿着特定层的输入长度完成的，因此可以在训练和推理时间使用同一组操作。
