Hadoop
Posted by Bruce Tsai
05/26/2016
Apache Hadoop 是一款支援資料密集型分布式應用並以 Apache 2.0 許可協議發布的開源軟體框架。它支援在商品硬體構建的大型集群上運行的應用程式。Hadoop 是根據 Google 公司發表的 MapReduce 和 Google 檔案系統的論文自行實作而成。
Hadoop 框架透明地為應用提供可靠性和資料移動。它實現了名為 MapReduce 的編程範式：應用程式被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。此外，Hadoop 還提供了分布式檔案系統，用以存儲所有計算節點的資料，這為整個集群帶來了非常高的帶寬。MapReduce 和分布式檔案系統的設計，使得整個框架能夠自動處理節點故障。它使應用程式與成千上萬的獨立計算的電腦和 PB 級的資料。現在普遍認為整個 Apache Hadoop「平台」包括 Hadoop 內核、MapReduce、Hadoop 分布式檔案系統（HDFS）以及一些相關項目，包含 Apache Hive 和Apache HBase 等等。
