Hadoop单机环境搭建

2018/5/28 posted in  Hadoop

本文的服务器系统是CentOS7.4版本,Hadoop版本是2.9.1

一丶Hadoop环境安装

1丶安装JDK

安装的JDK是通过yum命令来安装jdk,jdk的版本是1.8,yum安装成功后,输入命令:

java -version

出现如下:

2丶安装Hadoop

/usr/local/src下面运行命令行:

wget http://mirrors.shu.edu.cn/apache/hadoop/common/stable/hadoop-2.9.1.tar.gz

下载成功后,解压文件 tar -xvf hadoop-2.9.1.tar.gz

解压成功后,进行profile文件更改,输入:vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/usr/local/src/hadoop-2.9.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

输入 source /etc/profile使配置生效

在root目录下新建文件夹

注:在root目录下新建文件夹是防止被莫名删除

输入

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

进入/usr/local/src/hadoop-2.9.1//etc/hadoop目录

修改 core-site.xml

输入vim core-site.xml,在标签添加如下内容:

<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://Master:9000</value>
   </property>

注:Master可更换为主机IP,我这里是主机hostname

修改 hdfs-site.xml

输入vim hdfs-site.xml,在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

说明: dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。

修改mapred-site.xml

如果没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。 输入:vim mapred-site.xml

修改这个新建的mapred-site.xml文件,在节点内加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>Master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

修改 hadoop-env.sh

输入vim hadoop-env.sh,将\({JAVA_HOME} 修改为自己的JDK路径,原代码为:`export JAVA_HOME=\){JAVA_HOME},修改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-7.b10.el7.x86_64`

到此,Hadoop的单机模式配置就完成了。

3丶Hadoop启动

第一次启动Hadoop需要初始化,切换到/usr/local/src/hadoop-2.9.1/bin目录下,输入

./hadoop namenode -format

初始化成功后,可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置,并新建了该文件夹)新增了一些文件。

启动Hadoop 主要是启动HDFS和YARN

切换到/usr/local/src/hadoop-2.9.1/sbin目录 ,启动HDFS ,输入:start-dfs.sh,启动YARN,输入:start-yarn.sh

可以输入jsp查看是否启动成功。

在浏览器输入:

http://IP:8088/cluster

在浏览器输入:

http://IP:50070

到此,Hadoop的单机配置就结束了。