设为首页 加入收藏

TOP

Kafka的接口回调 +自定义分区、拦截器(一)
2019-09-17 18:20:29 】 浏览:40
Tags:Kafka 接口 定义 分区 拦截

一、接口回调+自定义分区

  1.接口回调:在使用消费者的send方法时添加Callback回调

 

producer.send(new ProducerRecord<String, String>("xinnian", "20" + i + "年新年好!"), new Callback() {
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
if (recordMetadata!=null){
System.out.println(recordMetadata.topic()+"-----"+recordMetadata.offset()+"-----"+recordMetadata.partition());
}
}
 2.自定义分区:定义类实现Patitioner接口,实现接口的方法:
   设置configure、分区逻辑partition(return 1;)、释放资源close、在生产者的配置过程中添加入分区属性。
 在定义生产者属性时添加分区的属性即可
/**
 * @author: PrincessHug
 * @date: 2019/2/28, 16:24
 * @Blog: https://www.cnblogs.com/HelloBigTable/
 */
public class PartitionDemo implements Partitioner {
    public int partition(String s, Object o, byte[] bytes, Object o1, byte[] bytes1, Cluster cluster) {
        return 1;
    }

    public void close() {

    }

    public void configure(Map<String, ?> map) {

    }
}

public class ProducerDemo {
    public static void main(String[] args) {
        Properties prop = new Properties();

        //参数配置
        //kafka节点的地址
        prop.put("bootstrap.servers", "192.168.126.128:9092");
        //发送消息是否等待应答
        prop.put("acks", "all");
        //配置发送消息失败重试
        prop.put("retries", "0");
        //配置批量处理消息大小
        prop.put("batch.size", "10241");
        //配置批量处理数据延迟
        prop.put("linger.ms","5");
        //配置内存缓冲大小
        prop.put("buffer.memory", "12341235");
        //消息在发送前必须序列化
        prop.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        prop.put("partitioner.class", "PartitionDemo");

        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);

        for (int i=10;i<100;i++){
            producer.send(new ProducerRecord<String, String>("xinnian", "20" + i + "年新年好!"), new Callback() {
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (recordMetadata!=null){
                        System.out.println(recordMetadata.topic()+"-----"+recordMetadata.offset()+"-----"+recordMetadata.partition());
                    }
                }
            });
        }
        producer.close();
    }
}

  注意:在自定义分区后,你的消费者会收不到消息,因为消费者默认接收的分区为0。

 

二、拦截器

  1)创建生产者类;
     2)创建自定义拦截器类实现ProducerInterceptor接口,重写抽象方法;
     3)在业务逻辑方法ProducerRecord方法中,修改返回值,
        return new ProducerRecord<String,String>(
        record.topic(),
        record.partiiton(),
        record.key(),
        System.currentTimeMillis() + "-" + record.value() + "-" + record.topic());
     4)在生产者类中将自定义拦截器生效
       prop.put(ProducerConfig.INTERCEPTOR_CLASSEA_CONFIG,"com.wyh.com.wyh.kafka.interceptor.TimeInterceptor");
     5)运行生产者main方法,或者在linux端用shell测试。

/**
 * @author: PrincessHug
 * @date: 2019/2/28, 20:59
 * @Blog: https://www.cnblogs.com/HelloBigTable/
 */
publ
首页 上一页 1 2 下一页 尾页 1/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇cmd命令操作Mysql数据库 下一篇MongoDB 中数据的替换方法实现 --..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目