数据为王

数据为王
关于大数据的那些事儿
Kafka

Apache Kafka:下一代分布式消息系统

阅读(605)评论(0)

简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展;它同时为发布和订阅提供高吞吐量;它支持多订阅者,当失败时...

Kafka

Apache kafka原理与特性

阅读(660)评论(0)

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设...

MySQL

使用淘宝中间件cobar实现mysql分库分表

阅读(2498)评论(0)

cobar 编译安装配置笔记https://github.com/alibaba/cobarwindows下使用eclipse导入cobar项目,eclipse File -> Import -> Git https://github.com/alibaba/cobarlinux下:wget https://codeload.gith...

Linux

yum clean all

阅读(821)评论(0)

今天发现一台机器/var > 70% ,查了下是/var/cache/yum目录。使用yum clean all 清除,很方便,绕开了没有root权限的问题。该命令介绍如下,作用:清除YUM缓存。yum 会把下载的软件包和header存储在cache中,而不自动删除。如果觉得占用磁盘空间,可以使用yum clean指令进行清除,更精确 的用法是yum ...

Java

SQL高级查询技巧

阅读(871)评论(0)

1.UNION,EXCEPT,INTERSECT运算符 A,UNION 运算符 UNION 运算符通过组合其他两个结果表(例如 TABLE1 和 TABLE2)并消去表中任何重复行而派生出一个结果表。 当 ALL 随 UNION 一起使用时(即 UNION ALL),不消除重复行。两种情况下,派生表的每一行不是来自 TABLE1 就是来自 T...

Java并发编程:线程池的使用

阅读(530)评论(0)

Java并发编程:线程池的使用   在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题:   如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。   那么有没有一种办法使得线程可以复用,就是执行完一个任...

java的concurrent用法详解

阅读(538)评论(0)

我们都知道,在JDK1.5之前,Java中要进行业务并发时,通常需要有程序员独立完成代码实现,当然也有一些开源的框架提供了这些功能,但是这些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现,比如使用java之前的wait()、notify()和synchronized等,每每需要考虑性能、死锁、公平性、...