初始化权重函数具体有什么作用呢
来自课程:工业和学术界最热的深度学习框架PyTorch实战第一季
初始化权重函数具体有什么作用呢
来自课程:工业和学术界最热的深度学习框架PyTorch实战第一季
初始化权重函数具体有什么作用呢
老师_ThroneWang 1 楼
同学你好
,初始化权重是给模型初始化一些随机值,根据初始化方法不一样(如:随机初始化、Xavier初始化、He初始化等)初始化的值也不一样,具体的作用有很多,例如防止梯度消失或者梯度爆炸,因为如果不是按照那些初始化函数进行初始化,而是自己选择一些值,很可能这些值太大或者太小,从而发生梯度爆炸或者梯度消失现象,当然也有其他的作用,例如可以加快收敛,提高模型性能等。(*^▽^*)
登录后可以回复