機械学習
差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
機械学習 [2021/04/24 11:52] – yajuadmin | 機械学習 [2021/04/24 12:05] (現在) – [なぜReLUを使うのか] yajuadmin | ||
---|---|---|---|
行 5: | 行 5: | ||
隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか? | 隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか? | ||
+ | モデルの学習の最中に、誤差関数の勾配が0になってしまう問題を、勾配消失問題と呼びます。\\ | ||
シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。\\ | シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。\\ | ||
- | [[https:// | + | * [[https:// |
+ | * [[http:// | ||
機械学習.1619232762.txt.gz · 最終更新: 2021/04/24 11:52 by yajuadmin