安装前准备
主机和系统
| Host |
OS |
Memory |
IP |
| bigdata001-dev |
Cent OS 7.4 x64 |
32G |
192.168.1.1 |
| bigdata002-dev |
Cent OS 7.4 x64 |
32G |
192.168.1.2 |
| bigdata003-dev |
Cent OS 7.4 x64 |
15G |
192.168.1.3 |
| bigdata004-dev |
Cent OS 7.4 x64 |
32 |
192.168.1.4 |
安装包下载
下载 cloudera-manager.repo 文件
wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
升级 GPG key
sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera
系统和环境配置
更改主机名
打开网络配置
sudo vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata002-dev.novalocal
重启网络
sudo service network restart
配置hosts文件
打开hosts文件
sudo vim /etc/hosts
改为如下配置
192.168.1.3 bigdata003-dev.novalocal
192.168.1.2 bigdata002-dev.novalocal
192.168.1.1 bigdata001-dev.novalocal
192.168.1.4 bigdata004-dev.novalocal
关闭内存大页
在 /etc/rc.d/rc.local 中添加一下内容
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
所有机器安装Java 8
旧版本卸载
#查看安装的Java
rpm -qa | grep java
#卸载相应的Java包
rpm –qa |grep jdk | xargs rpm -e --nodeps $1
下载 JDK tar包解压并配置环境变量
在你看到这篇文档的时候 Oracle JDK 可能已经开始收费了。所以我们可以试试 OpenJDK ,Cloudera 正在努力让自己的平台与 OpenJDK 适配，这应该不会花费太多时间
wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz
tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –C /user/java/
配置环境变量
Vim /etc/profile
# 添加一下内容
JAVA_HOME=/usr/java/jdk1.8.0_202
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib
export JAVA_HOME PATH CLASSPATH JRE_HOME
关闭所有机器的防火墙和SELinux
如果一个个配置端口的话会比较麻烦，所以在安装过程中就把防火墙关闭，可以在安装完成后再根据需求配置
关闭防火墙
关闭 iptables
service iptables stop
sudo chkconfig iptables off
关闭firewalld
systemctl disabled firewalld
我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’
关闭SELinux
临时关闭
sudo setenforce 0
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’
如果要永久关闭，可以修改配置：
sudo vim /etc/selinux/config
修改以下配置
SELINUX=disabled
启动 NTP 服务
Service ntpd start
Chkconfig ntpd on
Systemctl start ntpd
Systemctl enable ntpd
Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’
Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’
注：如果不启动 ntpd 服务，scm agent 无法发现123 端口开放状态，会出现告警
Cloudera Manager Server 和 Agent 安装
Yum 安装
Yum 网络安装方式，如果你已经配置 yum 源
yum install cloudera-manager-daemons cloudera-manager-server
rpm 包安装
所有服务器都需要的操作：
我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装
yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-li