数据为王

数据为王
关于大数据的那些事儿

Kafka

这家伙很懒,还没填写该栏目的介绍呢~

Kafka

Kafka OffsetMonitor:监控消费者和延迟的队列

阅读(236)评论(0)

一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以de...

Kafka

修改kafka topic的offset几种方法

阅读(1579)评论(0)

查询topic的offset的范围用下面命令可以查询到topic:test broker:suna:9092的offset的最小值:bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list suna:9092 -topic test --time -2输出test:0:1288查询offs...

Kafka

Kafka Consumer high-level与SimpleConsumer接口

阅读(732)评论(0)

high-level一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考,https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example不过要注意一些注意事项,对于多个...

Kafka

Ganglia监控Flume、Kafka、Storm

阅读(1821)评论(0)

背景通常利用Flume、Kafka、Storm来搭建实时的日志分析系统,那如何对这一系统运行状态进行监控呢?赶快调研一下,看看业内其他人怎么做的监控,当前能够查到的唯品会工程师Yaobaniu对外分享的实时日志分析平台材料,初步可以推断其使用Zabbix进行的监控,因为baniu在PPTV工作时,主要工作就是专注利用Zabbix进行集群监控,并且在baniu...

Kafka

Kafka命令行常用命令说明

阅读(8975)评论(0)

基于0.8.0版本。 ##查看topic分布情况 kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka...

Kafka

kafka 操作常用命令及Java API操作方法

阅读(1075)评论(0)

使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时候可以指定分区数和副本数等信息,如果将这些属性配置到server.properties文件中,以后调用Java API生成的主题将使用默认值,先改变需要使用命令bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topi...

Kafka

Kafka实战-Flume到Kafka

阅读(899)评论(0)

1.概述前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录:数据来源Flume到Kafka数据源加载预览下面开始今天的分享内容。2.数据来源Kafka生产的数据,是由Flume的Sink提供的,这里我们需要用到Flume集群,通过Flume集群将Agent的日志收集分发到 Kaf...

Kafka

Kafka设计解析(三):Kafka High Availability (下)

阅读(509)评论(0)

Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka...