shwq.net
当前位置:首页 >> kAFkA创建消费者组 >>

kAFkA创建消费者组

很早以前我们组里的Intern写过一个Patch用来GC旧的consumer metadata from ZK: [KAFKA-559] Garbage collect old consumer metadata entries 这个最终没有merge进code base,不过你可以考虑拿过来改一改自己用。 此外就是新版本0.9里面新增的Ja...

从好的方面来说,引入多个consumer的初衷大多是为了提升消费性能,即提升消费的吞吐量。试想你的业务消费代码打算消费100个分区的数据,使用一个consumer消费有很大可能使得各个分区的消费进度不均匀,且单个consumer单次poll回来的数据量是有限...

如何查看目前的消费者是否已经读到最新的数据: kafka-run-class.sh kafka.tools.ConsumerOffsetChecker #kafka查看topic各个分区的消息的信息 kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:218...

将消费者放在不同的group

没有删除消费者的需求 除非队列迁移 因为我们消费者的group是固定的 如果你有这种需求的话 调用zk api删除就行了

哪公司开发的?

手动修改meta.properties文件,在配置的log.dir下 vi ../kafka_data/meta.properties1 So, 如果你想改kafka的broker id,比如第一遍写错了,应该遵循两个步骤: 1. 改server.prorperties文件配置; 2. 改meta.properties,默认情况下,应该在/tm...

进入cd $ZOOKEEPER_HOME/bin下。 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper txy001:2181 --group console-consumer-36989 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper hadoop1:2181 --grou...

下,为您开辟幽雅的亭儿,是上帝的赐予,神仙的感动,为你披上了层纱,那可能是一枚勋章,一个神话,却又是一个现实的真理,我们永无止境的赞扬,歌颂,比喻,修饰,母亲的散文,母亲的诗篇,母亲的故事,母亲的精神,好像比岁月前进的要快,要早,这就是赐予的礼...

你的这个结构首先要换一下。 如果你要去读取group中不同分区中的数据。对于你的consumer端来说,应该是1对1进行读取,也就是说,一个java进程对应一个分区partition。 你自己所想的,用一个java进程去监听多个分区,那你就应该让producer端将数...

网站首页 | 网站地图
All rights reserved Powered by www.shwq.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com