全部回复(1)

  • 老师_ThroneWang 1 楼

    同学你好cheeky,初始化权重是给模型初始化一些随机值,根据初始化方法不一样(如:随机初始化、Xavier初始化、He初始化等)初始化的值也不一样,具体的作用有很多,例如防止梯度消失或者梯度爆炸,因为如果不是按照那些初始化函数进行初始化,而是自己选择一些值,很可能这些值太大或者太小,从而发生梯度爆炸或者梯度消失现象,当然也有其他的作用,例如可以加快收敛,提高模型性能等。(*^▽^*)

发表回复

登录后可以回复