er
gnome-terminal -x sh -c '$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties; bash'
# Wait kafka server is started.
sleep 5s
注:使用Ctrl+C可以中断服务。
# Create a topic
$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# List topics
$KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper localhost:2181
# Send a message
echo This is a message | $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
- 启动一个consumer来接受消息。
新起一个终端。正常情况下可以收到This is a message
。
不行的话,再发一遍消息。
# Start a consumer
$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
测试Scala的部署情况
这个比较简单,运行:
echo sys.exit | $SCALA_HOME/bin/scala
可以看到Scala的版本号。检查是否正确。
下面请看
至此,我们已经部署好了一个spark集群+akka+scala的开发环境。下一步请看:
Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用
Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用
Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用
参照