Hadoop配置及初始化

1. 安装LINUX系统（如果你没有阿里云这样自带LINUX的服务器）
下载安装 VMware WorkStation Pro
下载Ubuntu的ios镜像
在VMware WorkStation Pro里添加该LINUX镜像
2. 安装VMware Workstation Tools
某一LINUX系统已经打开，在工具栏的虚拟机选项卡下，点击VMware Tools安装，此时会在LINUX桌面（或工具栏上）出现DVD
将其中的VMwareTools...tar.gz压缩包拖到桌面上（或其它地方）
打开TERMINAL，命令行切到该压缩包所在路径，执行命令
tar -xvf VMwareTools...tar.gz 进行解压
解压后生成的文件运行 sudo ./vmware-install.pl (WHY ADD ./)
3. 进行文件共享
工具栏-》虚拟机-》设置-》选项-》共享文件夹
设置完毕后可以在根目录下的mnt/hgfs下看到共享文件夹
4. 创建新用户
sudo addgroup hadoop
sudo adduser -ingroup hadoop hduser 创建在hadoop这一组别内的用户hduser
5. ubuntu安装后更新软件源
cd /etc/apt
sudo apt-get update
6. 为hadoop用户增加权限
sudo gedit /etc/sudoers
在hduser下添加权限，即在root ALL=(ALL:ALL)ALL下一行写 hduser ALL=(ALL:ALL)ALL
ATTENTION:这里在添加hduser时，我错把ALL写成All，造成sudo命令不能使用的情况，解决方案如下：
    重启LINUX，并按住SHIFT键，进入GRUB菜单（我使用的UBUNTU是16.04 LTS）
    Advanced options for Ubuntu -> ... recovery mode
    grub(upgrade grub bookloader) 选择yes （这样就可以在root权限下修改文件内容了）
    再选择root(Drop to root shell prompt) 在其中修改之前出错的文件，如nano /etc/sudoers
7. 配置Hadoop集群
在VMware中进行主机配置，这里Hadoop集群包括两个节点：1 master, 2 slave（Hadoop 2.0 可以配置两个Master,其中一个做备用）, 其中Ubuntu_master既做master，又做slave, Ubuntu_clone只做slave
配置hostname: Ubuntu下修改机器名称 sudo gedit /etc/hostname；修改完成后需要重新启动才能生效，生效查看的方式是使用命令hostname
配置hosts:要在网络上让两台机器互相识别，每台机器上都要执行sudo gedit /etc/hosts；里面第三行附近配置ip的别名（先通过ifconfig查各个机器的ip，再在该hosts文件里写上`ip Ubuntu_master`。前面的ip如192.168.72.128，后面的为别名）
修改完成后需要重新启动，并使用`ping Ubuntu_master`和`ping Ubuntu_clone`查看是否可以ping通自己和另一台机器