请选择 进入手机版 | 继续访问电脑版

机器人与人工智能爱好者论坛

 找回密码
 立即注册
查看: 1820|回复: 0

怎么去理解神经网络中的dropout机制?他的目的是干嘛?

[复制链接]

115

主题

116

帖子

392

积分

中级会员

Rank: 3Rank: 3

积分
392
发表于 2019-1-7 13:55:30 | 显示全部楼层 |阅读模式
我先概述的介绍一下dropout的目的,然后在详细介绍一下dropout。
dropout的目的:其实dropout的目的和正则化的效果差不多,目的就是不让某个神经元的权重占比太大,增加系统的鲁棒性。下面举个例子来说明一下dropout的作用,现在我们需要构建一个房价预测模型,影响房价的特征有房子所处的地域、房间大小、房间装修、房间数量、房子所处楼层、房子周围的交通等,房子最终的价格由这些因素决定,建立出来的模型在预测价格的时候我们当然希望这些特征都能用到,而不是偏向某一个特征,如果模型在预测房价的时候将大部分的权重都依赖于房间大小,如果房间大小发生变化必定会导致价格变动特别大,这当然不是我们所要的模型,毕竟除了房间大小之外,还与地域、交通、医院、学校等有关。其实dropout的目的和这个也差不多,你将这里的特征(房间大小、装修、间数)理解为神经元的节点就好,dropout是如何实现避免模型依赖某个特征的呢?主要是通过在训练的时候,该层随机失活神经元,如果该神经元的权重太大,当它失活时必定会导致大的损失,正是通过这种方式来避免解决这个问题的
一、什么是dropout
dropout(随机失活):dropout是通过遍历神经网络每一层的节点,然后通过对该层的神经网络设置一个keep_prob(节点保留概率),即该层的节点有keep_prob的概率被保留,keep_prob的取值范围在0到1之间。通过设置神经网络该层节点的保留概率,使得神经网络不会去偏向于某一个节点(因为该节点有可能被删除),从而使得每一个节点的权重不会过大,有点类似于L2正则化,来减轻神经网络的过拟合。

二、dropout的工作原理
下图是一个三层的神经网络,接下来主要通过这个神经网络来介绍dropout的工作原理

dropout的工作原理主要可以分为3步:
1、遍历神经网络的每一层节点,设置节点保留概率keep_prob,假设keep_prob=0.5

2、删除神经网络的节点,并删除网络与移除节点之间的连接

3、输入样本,使用简化后的网络进行训练,每次输入样本的时候都要重复这三步。

三、Inverted dropout(反向随机失活)的实现
下面我们对之前的四层的神经网络的第三层来使用inverted dropout,来对神经网络的第三层使用dropout,实现inverted dropout主要分为四步:

1、第三层网络的权重参数用a3表示,使用a3的shape来产生一个0到1的随机矩阵。

2、设置keep_prob(0到1)的大小,keep_prob表示该层节点保留的概率。对于第一步产生的随机矩阵与keep_prob进行比较,小于为1,大于为0。1表示保留该节点,0表示删除矩阵。

3、将a3与0和1的矩阵相乘(这里是普通的乘法,不是矩阵相乘),的到新权重参数矩阵a3。

4、对输出的a3矩阵除以keep_prob,即a3 /= keep_prob,这一步是最关键的。将a3除以keep_prob的目的是保证a3的期望值(均值)不变,从而保证第三层的输出不变。

注意:dropout在测试阶段不需要使用,因为如果在测试阶段使用dropout可能会导致预测值产生随机变化(因为dropout使节点随机失活)。而且,在训练阶段已经将权重参数除以keep_prob来保证输出的期望值不变,所以在测试阶段没必要再使用dropout。

四、dropout能达到正则化的效果
1、使用dropout可以使得部分节点失活,可以起到简化神经网络结构的作用,从而起到正则化的作用。

2、因为dropout是使得神经网络的节点随机失活,这样会让神经网络在训练的时候不会使得某一个节点权重过大。因为该节点输入的特征可能会被清除,所以神经网络的节点不能依赖任何输入的特征。dropout最终会产生收缩权重的平方范数的效果,来压缩权重,达到类似于L2正则化的效果。

注意:神经网络的不同层在使用dropout的时候,keep_prob可以不同。因为可能有的层参数比较多,比较复杂,keep_prob可以小一些,而对于结构比较简单的层,keep_prob的值可以大一些甚至为1,keep_prob等于1表示不使用dropout,即该层的所有节点都保留。
ROSoft YaHei, Source Han Sans SC, Noto Sans CJK SC, WenQuanYi Micro Hei, sans-serif">了解更多机器学习问答,关注小程序八斗问答
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|Archiver|手机版|小黑屋|robot-ai ( 陕ICP备15012670号-1  

GMT+8, 2020-8-9 07:59 , Processed in 0.057121 second(s), 26 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表