设为首页 加入收藏

TOP

flume+kafka+zookeeper+storm实时计算环境搭建(一)
2019-04-29 02:09:47 】 浏览:55
Tags:flume kafka zookeeper storm 实时 计算 环境 搭建

环境准备
1.JDK10
2.ubuntu16.04,centos7
3.flume1.8.0
4.zookeeper3.4.13
5.storm1.2.2
6.kafka2.0.0

这里我用的三台虚拟机搭建的集群,主节点(master)用的ubuntu16.04,从节点分别用centos7搭建slave1,slave2,组成分布式集群

下载vmare:
https://my.vmware.com/cn/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0
下载之后安装,此处省略

ubuntu1604下载:
https://www.ubuntu.com/download/desktop

centos7下载:
这里我下载的mini版,不是桌面版的
http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

安装完虚拟机之后
注意:centos需要改一下网络文件才能连上网,
先下载vim编辑器
yum install vim
然后配置网络文件
cd /etc/sysconfig/network-scripts
在这里插入图片描述
sudo vim ifcfg-ens33
将onboot改成yes
在这里插入图片描述
然后ip add看下ip地址
在这里插入图片描述

下载
JDK10
下载地址:
https://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

安装jdk
首先将jdk10复制进ubuntu,有了vmware tools只需要在本地windows下载好之后点复制然后鼠标点进虚拟机粘贴就可以了
解压jdk
tar -zxvf ~/Desktop/jdk-10.0.2_linux-x64_bin.tar.gz
sudo mv jdk-10.0.2 jdk10
sudo mv jdk10 /usr/local
修改环境变量
sudo vim /etc/profile
在这里插入图片描述

#set jdk10
export JAVA_HOME=/usr/local/jdk10
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

然后source /etc/profile使刚才的配置生效
检测JDK是否配好
java -version
在这里插入图片描述
如果出现这个java环境就配好了

修改hostname和hosts
在ubuntu中
sudo vim /etc/hostname
在这里插入图片描述
在另外两台centos7中用上面的命令分别改为slave1,slave2

修改hosts
sudo vim /etc/hosts
在这里插入图片描述
在其他两台虚拟机也这样配置,前面为这三台虚拟机的ip地址,后面为虚拟机的hostname,中间用tab建隔开
然后reboot重启一下使配置生效

新建用户和用户组
新建用户storm
useradd storm
用户登录密码
passwd 123
新建storm用户组
groupadd -g storm
将用户storm分配到storm用户组
usermod -g storm storm
为用户storm分配权限
sudo vim /etc/sudoers
在这里插入图片描述

SSH免密配置
ssh是虚拟机相互通信的工具,centos7需要先安装ssh-server服务
yum install ssh-server
获取ssh公钥
ssh-keygen -t rsa
会生成一个.ssh的目录
进入.ssh目录将公钥写入到一个文件
cd ~/.ssh
cat rsa.pub > authorized_keys
分别将那两个centos7的公钥也发过来重定位到authorized_keys文件中
最后,sudo chown 600 authorized_keys
再将authorized_keys文件分别发给另外两台centos7
scp -t storm@slave1:~/.ssh
scp -t storm@slave2:~/.ssh
至此ssh免密登录配置完成
通过ssh slave1来访问其他虚拟机

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume读取日志数据写入kafka &nbs.. 下一篇使用Flume向HDFS持久化数据(日志..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目