令和2年度 III-8

解説

この問題で問われていること

HDFSの設計思想(大きなファイルの高スループット処理、複製による耐障害性)を確認する問題。

解き方

① HDFS=巨大なファイルをブロックに分けて多数のDataNodeに複製して置く。順番に読む処理に強い。ファイルの管理情報はNameNodeがメモリで持つので、小さなファイルが大量にあると苦手
② ④「大量の小さなファイルに適している」が×
③ ④

正解が正しい理由

HDFSは、巨大なファイルを、ブロック単位に分割して、多数のDataNodeに分散して格納し、シーケンシャルなアクセスで高いスループットを出すように設計されている。ファイルのメタデータは、NameNodeがメモリ上で管理するため、大量の小さなファイルを格納すると、NameNodeのメモリを圧迫して非効率になる。したがって、大量の小さなファイルを格納する用途に適しているとする④が最も不適切である。

各選択肢について

• ① ブロックを複数のDataNodeに複製して保持するため、一部が故障しても、ファイルの損失を回避できる。適切。
• ② 巨大なファイルを、ブロックに分割して分散格納でき、適切。
• ③ シーケンシャルなアクセスで、高いスループットを出せる設計で、適切。
• ④ 大量の小さなファイルの格納は、NameNodeのメモリを消費し、HDFSには向かない。不適切で、これが正答。
• ⑤ DataNodeを追加することで、容量を拡張できる(スケールアウト)。適切。

覚えるべきポイント

HDFSは、大きなファイルのバッチ処理向け。ブロック複製で耐障害性を確保し、NameNodeがメタデータを管理する。小さなファイルの大量格納や低遅延アクセスは苦手。