多层感知器面临的挑战_工作流管理_工作流软件_深圳市和丰软件技术有限公司【知名】

13544009511
我们做过什么

多层感知器面临的挑战

发布日期:2021-01-10 浏览次数:

  • 在利用MLP解决图像分类问题时,首先要将二维图像转换成一维向量,然后再对模型进行训练。这样做有两个缺点:

(1)随着图像尺寸的增大,可训练参数的数量会急剧增加。

MLP:图像分类

在上述情况下,如果图像的大小为224*224,那么在只有4个神经元的第一个隐藏层中的可训练参数就是602112,这可不是个小数目!

(2)MLP会丢失图像的空间特征。空间特征指的是图像中像素的排列。我会在以下几节中详细讨论这一问题。

  • 在所有这些神经网络中,存在一个共同问题:梯度消失与爆炸(Vanishing and Exploding Gradient)。此问题与反向传播(backpropagation)算法有关。反向传播算法通过寻找梯度来更新神经网络的权值。

反向传播

因此,在非常深的神经网络(具有大量隐藏层的网络)中,梯度会随着向后传播而消失或爆炸,从而导致梯度消失与爆炸(Vanishing and Exploding Gradient)。

  • MLP无法捕获处理序列数据所需的输入数据中的顺序信息。

现在,让我们来看看如何通过两种不同的架构——循环神经网络(RNN)和卷积神经网络(CNN)来克服MLP的局限性。

粤公网安备 44030502004911号