機械学習
文書の過去の版を表示しています。
目次
機械学習
Tips
なぜReLUを使うのか
隠れ層(中間層)の活性化関数において、シグモイド関数ではなくReLUを使用するのか？
シグモイド関数の微分では最大値が0.25であるため、勾配消失問題が発生していた。その点、ReLUの微分では最大値は1.0になるため、勾配消失を防ぐことができる。
勾配の更新に関する問題
機械学習.1619232762.txt.gz · 最終更新: 2021/04/24 11:52 by yajuadmin