设为首页 加入收藏

TOP

Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境(三)
2017-10-10 12:11:24 】 浏览:9204
Tags:Spark 集群 Akka Kafka Scala 开发 配置 环境
er gnome-terminal -x sh -c '$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties; bash' # Wait kafka server is started. sleep 5s

注:使用Ctrl+C可以中断服务。

  • 创建一个topic
# Create a topic
$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

# List topics
$KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper localhost:2181
  • 发一个Message
# Send a message
echo This is a message | $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  • 启动一个consumer来接受消息。
    新起一个终端。正常情况下可以收到This is a message
    不行的话,再发一遍消息。
# Start a consumer
$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

测试Scala的部署情况

这个比较简单,运行:

echo sys.exit | $SCALA_HOME/bin/scala

可以看到Scala的版本号。检查是否正确。

下面请看

至此,我们已经部署好了一个spark集群+akka+scala的开发环境。下一步请看:
Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用
Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用
Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

参照

首页 上一页 1 2 3 下一页 尾页 3/3/3
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark集群 + Akka + Kafka + Scal.. 下一篇Spark集群 + Akka + Kafka + Scal..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目