一骑绝尘

安装及运行Hadoop
总的来说,分为3步1.下载Hadoop包2.解压Hadoop3.配置环境变量4.编辑环境变量因为是Windows环...
扫描右侧二维码阅读全文
18
2019/06

安装及运行Hadoop

总的来说,分为3步

1.下载Hadoop包

2.解压Hadoop

3.配置环境变量

配置环境变量

4.编辑环境变量

编辑环境变量

因为是Windows环境,所以需要下载hadooponwindows-master.zip包,解压后选择对应版本的bin目录

请输入图片描述

复制到hadoop-3.1.1bin目录下(也可以直接将整个bin目录直接替换

5.将Hadoop.dll复制到C:/WINDOW/SYSTEM32下面

请输入图片描述

6.使用编辑器打开C:hadoop-3.1.1etchadoophadoop-env.cmd

修改JAVA_HOME的路径
把set JAVA_HOME改为jdk的位置
注意其中PROGRA~1代表Program Files
set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_162
请输入图片描述

7.修改核心文件

C:\hadoop-3.1.1\etc\hadoop\core-site.xml,在其中加上(ip地址换成自己的)
<property> <name>fs.defaultFS</name> <value>hdfs://192.168.31.71:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>C:\hadoop-3.1.1\hdfs\tmp</value> </property>

请输入图片描述

8.修改hdfs-site.xml,加上

    <property>
        <name>dfs.data.dir</name>
        <value>C:\hadoop-3.1.1\hdfs\data</value>
</property>
<property>
        <name>dfs.name.dir</name>
        <value>C:\hadoop-3.1.1\hdfs\name</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.http.address</name>
        <value>192.168.31.71:50070</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>

9.修改mapred-site.xml,加上(IP地址改成自己的)

<property>

    <name>mapreduce.framework.name</name>
    <value>yarn</value>

</property>
<property>

    <name>mapred.job.tracker.http.address</name>
    <value>192.168.31.71:50030</value>

</property>
<property>

    <name>mapred.task.tracker.http.address</name>
    <value>192.168.31.71:50060</value>

</property>

10.修改yarn-site.xml,加上(IP地址改成自己的)

<property>

    <name>yarn.sesourcemanager.hostname</name>
    <value>192.168.31.71</value>

</property>
<property>

    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>

</property>

11.启动Hadoop前需初始化

以管理员权限打开dos窗口,输入hdfs namenode -format,看到seccess fully就说明成功

12.转到Hadoop-3.1.1sbin文件下,输入start-all。cmd,启动hadoop集群,出现四个窗口,启动成功

浏览器访问http://localhost:50070,就可以进入hadoop的web界面
请输入图片描述

接下来就可以进行文件的上传下载了,当然这是最基本的安装过程,更多详情,请访问官网(虽然英文水平。。手动狗头)

最后修改:2019 年 09 月 22 日 03 : 00 PM
如果觉得我的文章对你有用,请随意赞赏

发表评论

1 条评论

  1. Apricot

    不早了,goodnight!