vmware15安装完全分布式hadoop集群
安装环境
1、VMware15
2、centerOS 7
3、Hadoop-2.7.4
4、Xshell6
5、Windows10
6、FileZilla
7、Java8
目录
vmware15安装完全分布式hadoop集群 安装环境1、VMware152、centerOS 73、Hadoop-2.7.44、Xshell65、Windows106、FileZilla7、Java8 一、创建空白虚拟机1.1 创建新的虚拟机1.2 自定义创建虚拟机1.3 选择虚拟机的硬件兼容性1.4 选择稍后安装操作系统1.5 选择系统类型1.6 输入虚拟机名字1.7 选择虚拟机配置1.8 选择虚拟机网络配置1.9 选择I/O控制器类型1.10 选择虚拟机磁盘类型1.11 选择虚拟机存储参数 二、装载ISO文件安装系统2.1 装载系统2.2 安装系统2.2.1 开启虚拟机2.2.2 install centeros 72.2.3 选择系统语言为English2.2.4 选择时区2.2.5 选择安装源为本地安装2.2.6 选择安装模式为最小安装2.2.7 选择安装目标2.2.8 选择网络 2.3 输入root密码2. ！！！特别提示！！！2.4 耐心等待安装完成并重启 三、登陆（使用你创建的用户密码）四、创建文件夹以便后续操作五、克隆虚拟机5.1 关闭虚拟机5.2 克隆虚拟机5.2.1 下一步5.2.2 选择虚拟机中的当前状态并下一步5.2.3 创建完整克隆并下一步5.2.4 选择克隆机位置5.2.5 等待完成5.2.6 克隆Hadoop03步骤如上5.2. 结果 六、配置网络6.1 开启Windows的VMware网络进程6.2 配置虚拟网络编辑器的NAT模式参数6.3 修改参数6.3.1修改NAT参数6.3.2 修改DHCP参数 6.4 配置Windows网络6.5 修改hostname6.5.0 使用xshell连接虚拟机 6.6 修改mac地址6.6.1 修改UUID6.6.2 修改IP6.6.3 配置IP映射6.6.4 配置免密登陆6.6.4.1 生出各自的公、私钥6.6.4.2 将Hadoop02、03的公私钥传送给Hadoop016.6.4.3 将Hadoop01汇总后的公私钥分发给Hadoop02、036.6.4.4 检查是否实现免密登陆 七、安装jdk7.1 使用FileZilla连接你的虚拟机7.2 上传文件7.3 解压文件7.4 将解压后的文件转移到你的软件存放路径并改名为你熟悉的名字7.5 配置profile文件7.6 应用配置文件7.7 验证 八、安装hadoop8.1 解压压缩包8.2 将解压出来的文件转移到你的软件存放文件夹并更名为熟悉的名字8.3 配置PATH8.4 验证 九、Hadoop环境配置9.1 配置Hadoop主节点数据9.1.1 配置hadoop-env.sh9.1.2 配置 core-site.xml 文件9.1.3 配置hdfs-site.xml文件9.1.4 配置mapred-site.xml 文件9.1.4.1 改名9.1.4.2 进入配置文件9.1.4.3 输入参数 9.1.5 配置 yarn-site.xml 文件9.1.6 配置slaves文件 9.2 将Hadoop01的文件与Hadoop02、03文件同步9.3 配置文件应用十、验证10.1 格式化namenode10.2 启动hadoop集群10.3 验证10.4 查看UI界面（进不去关闭防火墙）一、创建空白虚拟机
1.1 创建新的虚拟机
1.2 自定义创建虚拟机
1.3 选择虚拟机的硬件兼容性
1.4 选择稍后安装操作系统
1.5 选择系统类型
1.6 输入虚拟机名字
1.7 选择虚拟机配置
1.8 选择虚拟机网络配置
1.9 选择I/O控制器类型
1.10 选择虚拟机磁盘类型
1.11 选择虚拟机存储参数
二、装载ISO文件安装系统
2.1 装载系统
2.2 安装系统
2.2.1 开启虚拟机
2.2.2 install centeros 7
2.2.3 选择系统语言为English
2.2.4 选择时区
2.2.5 选择安装源为本地安装
2.2.6 选择安装模式为最小安装
2.2.7 选择安装目标
2.2.8 选择网络
2.3 输入root密码
这个密码由你开心随便设定，只要你记得住就行
2. ！！！特别提示！！！
用户可创建可不创建，个人建议创建，保证你的机子安全，本机因为只有我个人使用所有并不创建新的用户
2.4 耐心等待安装完成并重启
三、登陆（使用你创建的用户密码）
四、创建文件夹以便后续操作
mkdir -p /software/downloadmkdir -p /software/datamkdir -p /software/tool
五、克隆虚拟机
5.1 关闭虚拟机
shutdown
5.2 克隆虚拟机
5.2.1 下一步
5.2.2 选择虚拟机中的当前状态并下一步
5.2.3 创建完整克隆并下一步
5.2.4 选择克隆机位置
5.2.5 等待完成
5.2.6 克隆Hadoop03步骤如上
5.2. 结果
六、配置网络
6.1 开启Windows的VMware网络进程
这五个进程在进行网络配置前需要确保都是开启状态的
6.2 配置虚拟网络编辑器的NAT模式参数
6.3 修改参数
6.3.1修改NAT参数
6.3.2 修改DHCP参数
6.4 配置Windows网络
6.5 修改hostname
6.5.0 使用xshell连接虚拟机
#查看主机名hostname#修改主机名hostnamectl set-hostname hadoop01hostnamectl set-hostname hadoop02hostnamectl set-hostname hadoop03
6.6 修改mac地址
VMware克隆虚拟机后修改UUID、MAC地址、IP和主机名
一般来说不需要配置，如遇问题可参照这个文档处理
6.6.1 修改UUID
uuidgen#会有一段id，可以复制其idvi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改UUID为复制的ID，只需要修改Hadoop02和Hadoop03
6.6.2 修改IP
centos7永久修改ip地址
主要修改的参数为：
#需要修改的参数BOOTPROTO="static"#你的主机IPIPADDR="192.168.121.128"#你的网关IPGATEWAY="192.168.121.2"#你的子网掩码NETMASK="255.255.255.0"#你的DNS服务器地址DNS1="114.114.114.114"DNS2="8.8.8.8"
！！！需要修改3个主机的
！修改完后：
service network restart
6.6.3 配置IP映射
vi /etc/hosts
按键盘install，输入以下内容：
“IP1” Hadoop01“IP2” Hadoop02“IP3” Hadoop03
按ESC+：wq退出文件并保存
6.6.4 配置免密登陆
6.6.4.1 生出各自的公、私钥
ssh-keygen -t rsa
Hadoop01、Hadoop02、Hadoop03都执行一次该命令
6.6.4.2 将Hadoop02、03的公私钥传送给Hadoop01
ssh-copy-id hadoop01
Hadoop01、Hadoop02、Hadoop03都执行一次该命令，每次都是输入Hadoop01的密码
6.6.4.3 将Hadoop01汇总后的公私钥分发给Hadoop02、03
scp /root/.ssh/authorized_keys hadoop02:/root/.sshscp /root/.ssh/authorized_keys hadoop03:/root/.ssh
此处输入的密码均为Hadoop02、03的密码
6.6.4.4 检查是否实现免密登陆
ssh hadoop02ssh hadoop03
如果不需要密码即可登陆则说明配置成功
七、安装jdk
7.1 使用FileZilla连接你的虚拟机
7.2 上传文件
7.3 解压文件
tar -zxvf jdk-8u161-linux-x64.tar.gz
7.4 将解压后的文件转移到你的软件存放路径并改名为你熟悉的名字
mv jdk1.8.0_161 /software/tool/jdk
7.5 配置profile文件
vi /etc/profile
在文件的最末尾按install输入：
export JAVA_HOME=/software/tool/jdkexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
按ESC+：wq结束配置文件输入
7.6 应用配置文件
source /etc/profile
7.7 验证
java -version
成功的结果图：
八、安装hadoop
8.1 解压压缩包
tar -zxvf hadoop-2.7.4.tar.gz
8.2 将解压出来的文件转移到你的软件存放文件夹并更名为熟悉的名字
mv hadoop-2.7.4 /software/tool/hadoop
8.3 配置PATH
vi /etc/profile
在文件的最尾部按install输入
export HADOOP_HOME=/software/tool/hadoopexport PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
按ESC+：wq结束配置文件输入
source /etc/profile
8.4 验证
hadoop version
配置成功的结果图：
九、Hadoop环境配置
9.1 配置Hadoop主节点数据
进入Hadoop的配置文件存放文件夹
cd /software/tool/hadoop/etc/hadoop
9.1.1 配置hadoop-env.sh
vi hadoop-env.sh
在文件中间会发现如图的代码段
将JAVA_HOME后面的路径改成你的java路径
export JAVA_HOME=/software/tool/jdk
ESC+：wq退出配置文件编写
9.1.2 配置 core-site.xml 文件
vi core-site.xml
进入后会看到如图
在<configuration></configuration>间输入以下代码：
<property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/software/tool/hadoop/tmp</value></property>
ESC+：wq退出配置文件编写
9.1.3 配置hdfs-site.xml文件
vi hdfs-site.xml
进去后的界面为：
在<configuration></configuration>间输入以下内容：
<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.httpaddress</name><value>hadoop02:50090</value></property>
按ESC+：wq结束配置文件编写
9.1.4 配置mapred-site.xml 文件
9.1.4.1 改名
mv mapred-site.xml.template mapred-site.xml
9.1.4.2 进入配置文件
vi mapred-site.xml
9.1.4.3 输入参数
进入后的结果如图：
在<configuration></configuration>间输入以下内容：
<!-- 指定MapReduce 运行时框架，这里指定在Yarn 上，默认是 local --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
ESC+：wq退出配置文件编写
9.1.5 配置 yarn-site.xml 文件
vi yarn-site.xml
打开后界面应该是：
在<configuration></configuration>间输入以下内容：
<property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
按ESC+：wq结束配置文件编写
9.1.6 配置slaves文件
vi slaves
进去后的样子为：
改为：
按install输入，并退格删除localhost，输入以下内容：
hadoop01hadoop02hadoop03
按ESC+：wq结束配置文件编写
9.2 将Hadoop01的文件与Hadoop02、03文件同步
scp /etc/profile hadoop02:/etc/profilescp /etc/profile hadoop03:/etc/profilescp -r /software/ hadoop02:/scp -r /software/ hadoop03:/
9.3 配置文件应用
在hadoop02上：
source /etc/profile
在hadoop03上：
source /etc/profile
十、验证
10.1 格式化namenode
hdfs namenode -format
10.2 启动hadoop集群
start-all.sh
10.3 验证
hadoop01：
jps
hadoop02：
jps
hadoop03：
jps
10.4 查看UI界面（进不去关闭防火墙）
在Windows的浏览器中输入你的namenode的IP地址加：50070就可看到hdfs的界面
http://192.168.121.128:50070/
结果图：
http://192.168.121.128:8088/
结果图：
