機械学習

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- 機械学習 [2021/04/24 09:54] – 作成 yajuadmin
+++ 機械学習 [2021/04/24 12:05] (現在) – [なぜReLUを使うのか] yajuadmin
@@ 行 1: / 行 1: @@
 ====== 機械学習 ======
+===== Tips =====
+==== なぜReLUを使うのか ====
+隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか？
+モデルの学習の最中に、誤差関数の勾配が0になってしまう問題を、勾配消失問題と呼びます。\\
+シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。\\
+  * [[https://masamunetogetoge.com/gradient-vanish|勾配の更新に関する問題]]
+  * [[http://marupeke296.com/IKDADV_DL_No6_vanishing_grad_prob.html|勾配消失問題とは？]]

機械学習.1619225666.txt.gz · 最終更新: 2021/04/24 09:54 by yajuadmin