hadoop集群安装

hadoop集群安装

node1:(NameNode、DataNode)（NodeManager、ResourceManager
）

node2:(DataNode、SecondaryNameNode NodeManager)

node3:(DataNode)

三台机器设置免密码登录

 tar zxvf hadoop-3.2.0.tar.gz

一、修改workers

hadoop/etc/hadoop/workers

node1

node2

node3

二、修改core-site.xml(hadoop/etc/hadoop/core-site.xml)

fs.defaultFS：指定namenode的hdfs协议的文件系统通信地址，可以指定一个主机+端口
hadoop.tmp.dir：hadoop集群在工作时存储的一些临时文件存放的目录

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
        </property>
</configuration>

三、修改hdfs-site.xml（hadoop/etc/hadoop/hdfs-site.xml）

<configuration>
	<!-- namenode web端访问地址 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node1:9870</value>
	</property>
	<!-- 2namenode web端访问地址 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node2:9868</value>
	</property>
	<!-- 副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
</configuration>

四、修改vim yarn-site.xml（位置：hadoop/etc/hadoop/yarn-site.xml）

<configuration>

	<!-- Site specific YARN configuration properties -->
	<!-- 指定MR走shuffle -->
		<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node3</value>
	</property>
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
		<!-- 设置日志聚集服务器地址 -->
	<property>
		<name>yarn.log.server.url</name>
		<value>http://node1:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
  <property>
      <name>yarn.scheduler.maximum-allocation-mb</name>
      <value>20480</value>
      <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
   </property>
</configuration>

五、修改vim mapred-site.xml（位置：hadoop/etc/hadoop/mapred-site.xml）

<!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <!-- 历史服务器端地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
  <!-- 历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
</configuration>

六、格式化文件

cd /usr/local/hadoop
./bin/hdfs namenode -format

七、