设为首页 加入收藏

TOP

win提交spark程序
2019-05-12 13:49:42 】 浏览:104
Tags:win 提交 spark 程序
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/whoami_zy/article/details/53785469

使用win提交Spark Streaming程序的时候,出现了一下小小的问题,出现如下错误:

INFO JobScheduler: Added jobs for time 1482304253000 ms

一直循环打印这句话,始终没有出现Streaming时间片 batch的信息。

然后又偶尔出现一句警告:如下

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

为什么会出现这个错误呢?

有两种情况:第一就是内存不足,从第二个报错可以了解到
	    第二就是spark集群不能返回信息给主机。
什么意思呢?就是有一个sparkJob提交之后啊,他会返回一个进度给提交job的机器,然后这个消息一直没有被接收到。这就是第二种情况。

内存原因可以排除,那么就是第二种了。由于我使用的是windows。所以讲windows的ip和hostName添加到spark集群

解决方式:
1.打开windows的CMD
输出hostname 查看主机名
2.输入ipconfig查看ip
3.将这两个属性加入到spark主节点的hosts就行了。

运行解决问题!





】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hbase架构   Hbase Region的.. 下一篇java关于多态的几个问题解析

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目