1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > Windows下Hadoop的环境变量的配置以及Hadoop的配置文件修改

Windows下Hadoop的环境变量的配置以及Hadoop的配置文件修改

时间:2020-07-03 13:02:48

相关推荐

Windows下Hadoop的环境变量的配置以及Hadoop的配置文件修改

Hadoop的环境变量的配置

1.进入系统变量,右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME

2.在系统变量path 里面 添加 %HADOOP_HOME%\bin;

3.测试:打开命令行cmd ,在任意路径下输入hadoop命令,返回一下结果即配置正确

修改hadoop配置文件

1.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”下的core-site.xml文件

<configuration><property><name>hadoop.tmp.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/tmp</value></property><property><name>dfs.name.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/name</value></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property></configuration>

2.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property></configuration>

3.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hdfs-site.xml文件请自行创建data目录,在这里我是在HADOOP_HOME目录下创建了workplace/data目录;

<configuration><!-- 参数设置为1 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.data.dir</name><value>/D:/Program Files/hadoop-2.7.2/workplace/data</value></property></configuration>

4.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的yarn-site.xml文件

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

5.编辑“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;

@rem set JAVA_HOME=%JAVA_HOME%set JAVA_HOME=D:\java\jdk --jdk安装路径

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。