设为首页 加入收藏

TOP

HDFS上传文件与Spark执行
2019-03-12 12:19:35 】 浏览:20
Tags:HDFS 上传 文件 Spark 执行

根据并行度与文件大小设置Block大小,上传脚本:

hadoop dfs -D dfs.block.size=42724400 -D io.bytes.per.checksum=100 /
-D dfs.namenode.fs-limits.min-block-size=324000  -put BytePaviaU /home/zangtt/original-2.txt

Spark submit脚本:

spark-submit --class Main --master spark://localhost:7077 /
/home/zangtt/IdeaProjects//FinalParallelFusion/out/artifacts/FinalParallelFusion_jar/FinalParallelFusion.jar /
local[*] /home/zangtt/Data/zqt/PaviaU.txt /home/zangtt/Data/zqt/PaviaU_gt.txt /
/home/zangtt/Data/zqt/index_org.txt 1 4 hdfs://localhost:9000/home/zangtt/original-4.txt


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇未完待续   HDFS中使用had.. 下一篇hdfs:端口、启动、命令

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }