cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml /////多个文件合并cat
选择启动哪种配置模式:
ln -s hadoop_pseudo hadoop(前提是剔除环境变量)
export HADOOP_CONF_DIR= ////剔除环境变量
创建用户目录
hadoop fs -ls / /////查看fs的根目录
hadoop fs -ls -R / /////递归查看fs的根目录
hadoop fs -mkdir -p /user/$USER //-p是创建多级目录
fs -rm -R /usr ////删除目录及目录下的所有文件
namenode、datanode在本机上存储的位置
cd /tmp/hadoop-ubuntu/dfs/name/current ///namenode的当前信息,里面的fsimage_0000000000000000017存的就是文件系统的镜像文件fsimage_0000000000000000017,md5为校验版本
cat VERSION ///可查看版本信息
cd/tmp/hadoop-ubuntu/dfs/data/current ////查看datanode的信息
/tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized ///存放具体内容
查看帮助
hadoop fs ///直接回车,查看fs的所有帮助信息
hadoop fs -help put ///查看put的具体信息
往分布式文件系统上方文件
1 先本地建一个hello.txt
cd ~
touch hello.txt
echo "hello world" >> hello.txt
hadoop fs -put hello.txt /user/ubuntu
hadoop fs -ls -R ///该指令直接会查看/user/ubuntu/下的文件(非文件夹)
hadoop fs -ls -R / ///查看是否有hello.txt
查看具体存放在哪
cd /tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized/subdir0/subdir0 ////可以看到blk_1073741825和blk_1073741825_1001.meta,blk为HDFS中的文件数据块,存储的是原始文件内容,一个文件可以是很多块 ;.meta是块的元数据文件:包括版本和类型信息的头文件,与一系列块的的区域校验和组成。
可以看到默认数据是放到tmp里了,但是每次重启机器tmp都会重新创建,所以不能放在这,需要配置