本文的服务器系统是CentOS7.4版本,Hadoop版本是2.9.1
一丶Hadoop环境安装
1丶安装JDK
安装的JDK是通过yum命令来安装jdk,jdk的版本是1.8,yum安装成功后,输入命令:
java -version
出现如下:
2丶安装Hadoop
在 /usr/local/src
下面运行命令行:
wget http://mirrors.shu.edu.cn/apache/hadoop/common/stable/hadoop-2.9.1.tar.gz
下载成功后,解压文件 tar -xvf hadoop-2.9.1.tar.gz
解压成功后,进行profile文件更改,输入:vim /etc/profile
整体的配置文件:
export HADOOP_HOME=/usr/local/src/hadoop-2.9.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
输入 source /etc/profile
使配置生效
在root目录下新建文件夹
注:在root目录下新建文件夹是防止被莫名删除
输入
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
进入/usr/local/src/hadoop-2.9.1//etc/hadoop
目录
修改 core-site.xml
输入vim core-site.xml
,在标签添加如下内容:
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
注:Master可更换为主机IP,我这里是主机hostname
修改 hdfs-site.xml
输入vim hdfs-site.xml
,在添加:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
说明: dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
修改mapred-site.xml
如果没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。 输入:vim mapred-site.xml
修改这个新建的mapred-site.xml文件,在节点内加入配置:
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改 hadoop-env.sh
输入vim hadoop-env.sh
,将\({JAVA_HOME} 修改为自己的JDK路径,原代码为:`export JAVA_HOME=\){JAVA_HOME},修改为
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-7.b10.el7.x86_64`
到此,Hadoop的单机模式配置就完成了。
3丶Hadoop启动
第一次启动Hadoop需要初始化,切换到/usr/local/src/hadoop-2.9.1/bin
目录下,输入
./hadoop namenode -format