Hadoop的安装
厦门大学大数据
条件有限，这边使用的是单机伪分布式，安装的教程大家可以参考上面的链接
HDFS的基本操作
首先讲一下基本命令，这边是分布式文件系统，其实很多shell的操作都是适用的。在使用hdfs之前我们需要先启动一下hadoop，这边我们使用以下命令
这样写还是太长了
我们可以把这些命令都添加到bash里面，只要在path里面添加hadoop的bin和sbin就可以可以直接使用start-dfs命令了，bashrc文件里面的内容如下图，大家自行添加。
备注： Hadoop中有三种Shell命令方式：
hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统
下面我们要创建我们的hdfs目录啦
./bin/hdfs dfs -mkdir -p /user/hadoop
当然我们添加了path之后就可以直接使用
hdfs dfs -mkdir -p /user/hadoop
我们可以使用浏览器去查看我们创建的文件夹
注意多次格式化namenode会导致节点版本不一致，无法加载datanode，解决方法如下
基本的shell命令
厦大博客
idea下hadoop java api的调用
这边我遇到蛮多坑，所以我决定单独来写一篇博客来描述一下
idea下的第一个hadoop程序