数据为王

数据为王
关于大数据的那些事儿

标签关键词

关于 kakfa 的文章共有3条

Kafka

Kafka OffsetMonitor:监控消费者和延迟的队列

阅读(258)评论(0)

一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以de...

Hadoop

Kafka集群搭建

阅读(380)评论(0)

1、软件环境1、linux一台或多台,大于等于22、已经搭建好的zookeeper集群,此步骤不做解释3、软件版本kafka_2.11-0.10.2.tgz2、创建目录并下载安装软件#创建目录 cd /opt/ mkdir kafka #创建项目目录 cd kafka mkdir kafkalogs #创建kafka消息目录,主要存放kafka消息 #下载...

Kafka

Kafka Consumer high-level与SimpleConsumer接口

阅读(779)评论(0)

high-level一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考,https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example不过要注意一些注意事项,对于多个...