令和元年度 III-3

解説

この問題で問われていること

深層学習の過学習を抑える方法として、最も不適切なものを選ぶ問題。

解き方

① 過学習=モデルが学習データに合わせすぎる状態。抑える方法: 重みに罰則(Weight decay)、Dropout、データを増やす、早期終了
② ④「パラメータを大量に持ち表現力の高いモデルにする」は、学習データに合わせすぎやすくなり、過学習を招く
③ ④

正解が正しい理由

過学習は、モデルの表現力が学習データに対して高すぎ、学習データに過度に適合してしまう現象である。パラメータを大量に持つ表現力の高いモデルにすると過学習が起こりやすくなるため、④は過学習の抑制方法として不適切。Weight decay、Dropout、学習データの増加、早期終了(テスト誤差が増え始めたら学習を止める)は、いずれも過学習を抑える方法である。したがって④が正答。

各選択肢について

• ① Weight decayは大きな重みに罰則を与える正則化で、過学習の抑制に使われる。
• ② Dropoutはニューロンをランダムに無効化して学習し、過学習の抑制に使われる。
• ③ 学習データを増やすことは過学習の抑制に有効である。
• ④ 表現力の高いモデルは過学習を起こしやすく、抑制方法として不適切。これが正答。
• ⑤ 誤差が増え始めた時点で学習を止める早期終了は、過学習の抑制方法である(厳密には、テストデータではなく検証データの誤差で判断する)。

覚えるべきポイント

過学習の対策は「モデルを単純にする・制約をかける(正則化、Dropout)」「データを増やす」「学習を早めに止める」。モデルを複雑にするのは逆効果。