设为首页 加入收藏

TOP

kafka service.xml配置
2019-02-12 02:30:25 】 浏览:15
Tags:kafka service.xml 配置

# broker在集群中的唯一标识(>=0),当该服务器的IP地址发生改变时,broker.id没有变化,不会影响consumers
broker.id =0
# kafka数据的存放地址,多个地址的话用逗号分割 /opt/log/kafka/logs1,/opt/log/kafka/logs2
log.dirs=/opt/log/kafka/logs
# broker server服务端口
port =9092
# 是否允许自动创建topic,若是false,就需要通过命令创建topic
auto.create.topics.enable =true
# 每个topic的分区个数,若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖
num.partitions =10
# 表示消息体的最大大小,单位是字节
message.max.bytes =6525000
# broker处理消息的最大线程数,一般情况下不需要去修改
num.network.threads =4
# broker处理磁盘IO的线程数,数值应该大于你的硬盘数
num.io.threads =8
# 一些后台任务处理的线程数,例如过期消息文件的删除等,一般情况下不需要去做修改
background.threads =4
# 等待IO线程处理的请求队列最大数,若是等待IO的请求超过这个数值,那么会停止接受外部消息,是一种自我保护机制。
queued.max.requests =500
# socket的发送缓冲区,socket的调优参数SO_SNDBUFF
socket.send.buffer.bytes=100*1024
# socket的接受缓冲区,socket的调优参数SO_RCVBUFF
socket.receive.buffer.bytes =100*1024
# socket请求的最大数值,防止serverOOM,message.max.bytes必然要小于socket.request.max.bytes,会被topic创建时的指定参数覆盖
socket.request.max.bytes =100*1024*1024

# *******************以下为日志定时清除策略***********************
# 设置每个segment的大小为200*1024*1024 【200M】,超过大小重新创建新的segment
log.segment.bytes=209715200 
# 日志清理策略选择有:delete和compact主要针对过期数据的处理,delete 为不可恢复;compact 为压缩
log.cleanup.policy = delete 
# 每5分钟【5*60*1000】检查一次是否有segment已经超过5h没更新,如果有则标记为.deleted
log.retention.check.interval.ms=300000
log.retention.hours=5 
# topic每个分区的最大文件大小5G,一个topic的大小限制 = 分区数*log.retention.bytes。-1没有大小限,log.retention.bytes和log.retention.hours 任意一个达到要求,都会执行删除(标记为.deleted)
log.retention.bytes=5368709120 
# 10分钟检查一次是否有被 标记为deleted的segment,如果有将其从文件系统删除
log.cleaner.backoff.ms=600000


# 对于压缩的日志保留的最长时间,也是客户端消费消息的最长时间,同log.retention.minutes/hours的区别在于一个控制未压缩数据,一个控制压缩后的数据。会被topic创建时的指定参数覆盖
log.cleaner.delete.retention.ms =1day
# 是否开启日志压缩
log.cleaner.enable=false
# 日志压缩运行的线程数
log.cleaner.threads = 2
# 日志压缩时候处理的最大大小
log.cleaner.io.max.bytes.per.second=None
# 日志压缩去重时候的缓存空间,在空间允许的情况下,越大越好
log.cleaner.dedupe.buffer.size=500*1024*1024
# 对于segment日志的索引文件大小限制,会被topic创建时的指定参数覆盖
log.index.size.max.bytes =10*1024*1024

其他参数使用默认的即可


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Mac使用IDEA搭建kafka开发环境 下一篇Kafka整体结构以及模块分析

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }