令和2年度 III-12

解説

この問題で問われていること

活性化関数に非線形関数を使う理由を確認する問題。

解き方

① 線形変換を何層重ねても1つの線形変換と同じ。非線形の活性化関数を挟むから、層を重ねる意味が出る
② 「層を重ねるとき」の理由を直接述べているのは②。④0〜1の出力は一部の関数だけ、⑤バイアスは必要、③用語の区別は誤り
③ ②

正解が正しい理由

活性化関数が線形の場合、層を重ねても、線形変換の合成は、やはり線形変換なので、1層のネットワークと同じ表現力しか持てず、層を深くする意味がなくなる。非線形関数を用いることで、層を重ねたことによって、より複雑な関数を表現できるようになる。したがって②が最も適切である。

各選択肢について

• ① XORのような線形分離できない問題に対応できるのは、非線形の活性化関数を持つ多層のネットワークの効果の1つ。ただし、非線形関数を用いる一般的な理由としては、②(層を重ねる意味を持たせるため)の方が本質的で適切。
• ② 線形関数では、多層にしても1層と等価になり、層を深くする意味がなくなる。これが正答。
• ③ 線形の活性化関数を用いるものをパーセプトロン、非線形なものをニューラルネットワークと呼ぶ、という分類は一般的ではなく、理由の説明にもならない。
• ④ 0〜1の範囲に変換する必要があるのは、シグモイド関数など一部の関数(確率として解釈する場合)の話で、非線形関数一般を用いる理由ではない(ReLUは0〜1に限られない)。
• ⑤ 非線形関数を用いても、バイアスは必要で、なくなるわけではない。

覚えるべきポイント

線形関数を重ねても線形のままで、多層化の意味がない。非線形の活性化関数(シグモイド、tanh、ReLUなど)を用いることで、表現力の高い深層ネットワークが可能になる。