TOP

hadoop连接方式配置-fs操作-put
2018-12-07 08:48:17 】 浏览:394
Tags:hadoop 连接 方式 配置 -fs 操作 -put

cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml /////多个文件合并cat

选择启动哪种配置模式:

ln -s hadoop_pseudo hadoop(前提是剔除环境变量)

export HADOOP_CONF_DIR= ////剔除环境变量

创建用户目录

hadoop fs -ls / /////查看fs的根目录

hadoop fs -ls -R / /////递归查看fs的根目录

hadoop fs -mkdir -p /user/$USER //-p是创建多级目录

fs -rm -R /usr ////删除目录及目录下的所有文件

namenode、datanode在本机上存储的位置

cd /tmp/hadoop-ubuntu/dfs/name/current ///namenode的当前信息,里面的fsimage_0000000000000000017存的就是文件系统的镜像文件fsimage_0000000000000000017,md5为校验版本

cat VERSION ///可查看版本信息

cd/tmp/hadoop-ubuntu/dfs/data/current ////查看datanode的信息

/tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized ///存放具体内容

查看帮助

hadoop fs ///直接回车,查看fs的所有帮助信息

hadoop fs -help put ///查看put的具体信息


往分布式文件系统上方文件

1 先本地建一个hello.txt

cd ~

touch hello.txt

echo "hello world" >> hello.txt

hadoop fs -put hello.txt /user/ubuntu

hadoop fs -ls -R ///该指令直接会查看/user/ubuntu/下的文件(非文件夹)

hadoop fs -ls -R / ///查看是否有hello.txt

查看具体存放在哪

cd /tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized/subdir0/subdir0 ////可以看到blk_1073741825和blk_1073741825_1001.meta,blk为HDFS中的文件数据块,存储的是原始文件内容,一个文件可以是很多块;.meta是块的元数据文件:包括版本和类型信息的头文件,与一系列块的的区域校验和组成。

可以看到默认数据是放到tmp里了,但是每次重启机器tmp都会重新创建,所以不能放在这,需要配置


hadoop连接方式配置-fs操作-put https://www.cppentry.com/bencandy.php?fid=114&id=195632

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop基础组件介绍 下一篇hadoop上的C++程序开发