p01 课程整体介绍
p02 大数据的概念
p03大数据的特点
p04 05 大数据应用场景
p06 未来工作内容
p07hadoop入门 课程介绍
p08 09 hadoop是什么
p 10 hadoop3大发行版本
p11 hadoop优势
p12 hadoop 1 2 3版本区别
p13 HDFS概述
NameNode DataNode SecondNameNode
p14 Hadoop入门 YARN概述
ResourceManager NodeManager
p15 MapReduce概述
p16 HDFS YARN MapReduce三者关系
p17 大数据技术生态体系
p18 VMWARE安装
我安装的16 网上找序列码直接用
p19 centos7安装
看到韩老师的linux视频
p20 ip和主机名称配置
修改ip
修改主机名称
修改主机名和host映射
p21 xshell远程访问
我用的crt
p22 模版虚拟机准备完成
安装epel-release
Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于 RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的。
yum install -y epel-release
关闭防火墙
创建用户
配置用户权限
在opt目录下创建文件夹,改变文件所有者
卸载自带的JDK
检查系统中自带的JDK:
rpm -qa | grep -i java
卸载自带的JDK:(需要以root用户运行)
# grep -i 忽略大小写# xargs 将前面的输出结果作为命令的参数# -n1 每次只取一个结果作为命令参数。如果不加,则会将所有结果以空格分隔拼接作为命令的参数# rpm -e --nodeps:不验证套件档的相互关联性进行卸载rpm -qa | grep -i java | grep -v ".noarch" | xargs -n1 rpm -e --nodeps
p23 克隆3台虚拟机
克隆完成之后,还需要依次修改 hadoop102、hadoop103、hadoop104的ip和hostname。
p24 jdk安装
在02上安装jdk和hadoop 剩下2台复制就行了
p25 hadoop安装
hadoop目录结构