重みの初期化でも確かに過学習を防げる道にはなるが、 そのほかでもいくつか方法がある。 個人的には、Dropoutにお世話になっております。 過学習 過学習自体の話はもういいね笑 けど、要因について、書いとく。 ①パラメータを大量に持ち(ノードがたくさんあ…

重みの初期値についてアウトプット。学習の精度がいまいち上がらない時がある。よく言われるのは、レイヤーの追加や学習データの増量、 パラメータの変更など方法はさまざま。結構見落とされがちであるものの、 重みの初期値も結構大切かもしんない。直結で…

今日もアウトプット。第6章まで来た 今日は第6章の①のアウトプット。 ここまではニューラルネットワークの学習の目的は損失関数(ソフトマックスの交差エントロピー誤差とか)の数値をいかに減らして、どうやって最適なパラメータを見つけるのか？が学習の目的…

本日は、オライリーの話。 活性化関数レイヤについて 活性化関数とは、重みとバイアスが入力値と重なって入ってきたときに、出力に大きな力を発揮してくれる関数。 シグモイドとか、レルなど、０から1の間で推移し、 正解ラベルとの確率を導き出す(導くのは…