hadoop集群安装配置教程 hadoop集群安装详细步骤

#hadoop environment
HADOOP_HOME=/hpme/admin/hadoop-2.7.3    #该路径以Hadoop软件包实际解压解包的路径为准
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH    #确保此项输入正确，否则可能导致所有命令无法使用
Export HADOOP_HOME PATH   #必须按照前面的定义顺序书写

<configuration>
<property>     <!- -指定Hadoop的访问路径，需要指定为后面的HA集群配置中定义的命名                   
<name>fs.defaultFS</name>                                     空间的逻辑名称之一 - ->
<value>hdfs://hadoop-ha</value>
</property>
<property>                            
<name>hadoop.tmp.dir</name>           <！- -指定Hadoop的临时文件的本地存放路径- ->     
<value>/home/admin/hadoop/tmp</value> 
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>Cluster-01:2181,Cluster-02:2181,Cluster-    <!- -指定Zookeeper的连接地址，多用个“，”分隔- ->
03:2181,Cluster-04:2181,Cluster-05:2181</value>    
</property>
</configuration>

<configuration>
<property>
<name>dfs.nameservices</name>                  <!- -指定命名空间的逻辑名称，多用个“，”，分隔- ->
<value>hadoop-ha</value>                       
</property>
<property>
<name>dfs.ha.namenodes.hadoop-ha</name>        <!- -指定集群Hadoop-ha下的 NameNode名称，多用个“，”分隔-->
<value>name-1,name-2</value>                  
</property>
<property>
<name>dfs.namenode.rpc-address.hadoop-ha.name-1</name>  <!- -指定NameNode name-1 的RPC通信地址- ->
<value>Cluster-01:9000</value>                         
</property>
<property>
<name>dfs.namenode.http-address.hadoop-ha.name-1</name>  <!- -指定NameNode name-1 的HTTP通信地址- ->
<value>Cluster-01:50070</value>                         
</property>

<property>
<name>dfs.namenode.rpc-address.hadoop-ha.name-2</name>  <!- -指定NameNode name-2    的RPC通信地址- ->
<value>Cluster-02:9000</value>                      
</property>
<property>
<name>dfs.namenode.http-address.hadoop-ha.name-2</name>  <!- -指定NameNode name-2  的HTTP通信地址- ->
<value>Cluster-02:50070</value>                        
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>     <!- -指定存放NameNode元数据的JournalNode的地址和存放位置- ->
<value>qjournal://Cluster-03:8485;Cluster-04:  
8485;Cluster-05:8485/hadoop-ha</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>         <!- -指定JournalNode的逻辑状态数据的本地存放路径- ->
<value>/home/admin/hadoop/journal</value>      
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>  <!- -指定NameNode的失败自动 切换为开启状态- ->
<value>true</value>                            
</property>
<property>
<name>dfs.client.failover.proxy.provider.hadoop-ha</name>
<value>org.apache.hadoop.hdfs.server.namenode.  <!- -指定hadoop-ha的失败自动  切换的实现方式- ->
ha.ConfiguredFailoverProxyProvider</value>    
</property>
<property>
<name>dfs.ha.fencing.methods</name>            <!- -指定隔离机制方法，多个机制用    换行分隔，即每行一个机制- ->
<value>                                     
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name> <!- -指定使用sshfence隔离机制 时SSH免密码登录的私钥路径- ->
<value>/home/admin/.ssh/id_rsa</value>           
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>  <!- -指定使用sshfence隔离机制   时的超时时间，单位毫秒- ->
<value>30000</value>                          
</property>
<property>
<name>dfs.namenode.name.dir</name>               <!- -指定HDFS的主节点的元数据   文件的本地存放路径- -> 
<value>/home/admin/hadoop/name</value>        
</property>
<property>
<name>dfs.datanode.data.dir</name>              <!- -指定HDFS的数据节点的数据 文件的本地存放路径- ->
<value>/home/admin/hadoop/data</value>         
</property>
<property>
<name>dfs.replication</name>                    <!- -指定HDFS的数据分块的备份数量- ->
<value>3</value>                                
</property>
</configuration>

<configuration>
<property>           <!- -指定MapReduce所使用的外部管路 框架这里使用Hadoop2.7.3自带的YARN资源管理器- ->
<name>mapreduce.framework.name</name>  
<value>yarn</value>                   
</property>                            
</configuration>

<configuration>
<!-- Site specific YARN congfiguration proerties -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>    <!- -指定YARN的高可用集群为开启状态- ->
<value>true</value>                             
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>    <!- -指定YARN的高可用集群为 的逻辑名称- ->
<value>yarn-ha</value>                         
</property>
<property>    <!- -指定集群yarn-ha下的Resource -Manger的名称，多个用“，”分割- ->
<name>yarn.resourcemanager.ha.rm-ids</name>  
<value>resource-1,resource-2</value>        
</property>
<property>
<name>yarn.resourcemanager.hostname.resource-1</name>  <!- -指定ResourceMangerresource-01的地址- ->
<value>Cluster-01</value>                              
</property>
<property>
<name>yarn.resourcemanager.hostname.resource-2</name>  <!- -指定ResourceMangerresource-02的地址- ->
<value>Cluster-02</value>                              
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>      <!- -指定Zookeeper的连接地址，多个用“，”分割- ->
<value>Cluster-01:2181,Cluster-02:2181,Cluster    
-03:2181,Cluster-04:2181,Cluster-05:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>         <!- -指定NodeManger上运行的 附属服务的类型- ->
<value>mapreduce_shuffle</value>                  
</property>
</configuration>

$scp -r ~/hadoop ~/.bash_profile admin@Cluster-02:/home/admin
$scp -r ~/hadoop ~/.bash_profile admin@Cluster-03:/home/admin
$scp -r ~/hadoop ~/.bash_profile admin@Cluster-04:/home/admin
$scp -r ~/hadoop ~/.bash_profile admin@Cluster-05:/home/admin