设为首页 加入收藏

TOP

java代码实现kafka消费端consumer的from-beginning功能
2019-04-23 14:23:19 】 浏览:42
Tags:java 代码 实现 kafka 消费 consumer from-beginning 功能
只需要在代码中加入

props.put("auto.offset.reset", "earliest");
props.put("group.id", UUID.randomUUID().toString());

完整例子

//1、准备配置文件
	    Properties props = new Properties();
	    props.put("bootstrap.servers", "hadoop1:9092");
	    props.put("acks", "all");
	    props.put("retries", 0);
	    props.put("batch.size", 16384);
	    props.put("linger.ms", 1);
	    props.put("buffer.memory", 33554432);
	    
	    props.put("group.id", "test");
	    props.put("enable.auto.commit", "true");
	    props.put("auto.commit.interval.ms", "1000");
	    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    
	    props.put("auto.offset.reset", "earliest");
	    props.put("group.id", UUID.randomUUID().toString());
	    
	    
	    
	     
	 // 2、创建KafkaConsumer
	    KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(props);
	    // 3、订阅数据,这里的topic可以是多个
	    kafkaConsumer.subscribe(Arrays.asList("yun03"));
	    // 4、获取数据
	    while (true) {
	        ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
	        for (ConsumerRecord<String, String> record : records) {
	            System.out.printf("topic = %s,offset = %d, key = %s, value = %s%n",record.topic(), record.offset(), record.key(), record.value());
	        }
	    }

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇kafka高效之一:文件系统 下一篇Error while fetching metadata w..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目