令和元年度(再試験) III-9

解説

この問題で問われていること

Hadoopの構成要素と、設計思想(スケールアウト、大きなファイルのバッチ処理)を確認する問題。

解き方

① Hadoop=HDFS(大きなファイルを分割して多数のノードに置く)+MapReduce(分散処理)。台数を増やすスケールアウトが前提で、大量データのバッチ処理向き
② ②スケールアップではない、③NameNodeはHDFSのマスター(記述が入れ替わっている)、④構造化していないデータも扱える、⑤応答は遅くオンライン処理には向かない
③ ①

正解が正しい理由

HDFSは、大きなファイルを、ブロックに分割して、多数のノードに分散して格納する分散ファイルシステムで、大きなファイルへのシーケンシャルアクセス(バッチ処理)に適している。したがって①が最も適切である。

各選択肢について

• ① HDFSは、大きなファイルへのシーケンシャルアクセスに適している。これが正答。
• ② MapReduceの性能向上は、サーバの台数を増やす、スケールアウトを前提としており、スケールアップではない。
• ③ HDFSのマスターはNameNode、スレーブはDataNodeで記述が逆。MapReduceのマスターはJobTracker(YARNではResourceManager)。
• ④ Hadoopは、非構造化データや半構造化データを、事前に構造を定義せずに処理できることが特長で、正規化されている必要はない。
• ⑤ RDBMSに比べて、Hadoopはレスポンスタイムが大きく、バッチ処理向きで、オンライン処理には適さない。

覚えるべきポイント

Hadoop=HDFS(分散ファイルシステム、NameNode/DataNode)+MapReduce(分散処理)。スケールアウトが前提で、大量データのバッチ処理向け。