ユーザ用ツール

サイト用ツール


機械学習

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
最新のリビジョン両方とも次のリビジョン
機械学習 [2021/04/24 11:52] yajuadmin機械学習 [2021/04/24 11:53] – [なぜReLUを使うのか] yajuadmin
行 5: 行 5:
 隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか? 隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか?
  
 +モデルの学習の最中に、誤差関数の勾配が0になってしまう問題を、勾配消失問題と呼びます。\\
 シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。\\ シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。\\
 [[https://masamunetogetoge.com/gradient-vanish|勾配の更新に関する問題]] [[https://masamunetogetoge.com/gradient-vanish|勾配の更新に関する問題]]
  
  
機械学習.txt · 最終更新: 2021/04/24 12:05 by yajuadmin