hadoop的版本区别:
- 1.0.X - current stable version, 1.0 release
- 1.1.X - current beta version, 1.1 release
- 2.X.X - current alpha version
- 0.23.X - simmilar to 2.X.X but missing NN HA.
- 0.22.X - does not include security
- 0.20.203.X - old legacy stable version
- 0.20.X - old legacy version参考官方地址:
hadoop框架:
Hadoop 有许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS(对于本文)的上一层是 MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。
hadoop集群搭建:
(略)参考:
主要学习hadoop框架以及背后的思想,编码mapreduce程序,来解决实际问题。
mapreduce过程:
主要为六个过程:
InputFormat
Mapper
Commbiner
Partitioner
Reducer
OutputFormat
学习开发的hadoop版本:1.0.4