深度学习是机器学习的一种分支，旨在模拟大脑在数据处理中的能力。它通过构建人工神经网络模型来解决问题，使机器能够在无人监督的情况下进行学习。这种方法允许机器自动提取和理解复杂的模式和特征。通过深度学习，机器可以从大量的数据中学习，并提供高度准确的预测和决策。这使得深度学习在计算机视觉、自然语言处理和语音识别等领域取得了巨大的成功。
要理解神经网络的功能，可以考虑神经元中的脉冲传输。数据从树突末端接收后，在细胞核中被加权（乘以w），然后沿轴突传输并连接到另一个神经细胞。轴突（x's）从一个神经元输出，成为另一个神经元的输入，这样确保了神经之间的信息传递。
为了在计算机上建模和训练，我们需要了解该操作的算法，通过输入命令获得输出。
这里我们通过数学来表达，具体如下：
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在上图中，展示了一个2层神经网络，其中包含4个神经元的隐藏层和一个包含单个神经元的输出层。需要注意的是，输入层的层数并不会对神经网络的运算产生影响。而这些层中的神经元数量以及输入值的数量则通过参数w和b进行表示。具体而言，隐藏层的输入为x，而输出层的输入则为a的值。
双曲正切、ReLU、Leaky ReLU等函数可替代sigmoid作为可微激活函数在层中使用，通过反向传播中的导数操作更新权重。
ReLU激活函数在深度学习中广泛使用。由于ReLU函数中小于0的部分不可微，所以它们在训练过程中不会发生学习。而Leaky ReLU激活函数则解决了这个问题，它在小于0的部分是可微的，并且在任何情况下都会进行学习。这使得Leaky ReLU在一些场景中比ReLU更有效。
