数据为王

数据为王
关于大数据的那些事儿

标签关键词

关于 rcfile 的文章共有2条

Hive

RCFile存储格式

阅读(349)评论(0)

本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Had...

Hive

Hive中的RCFile 和 ORCFile

阅读(1142)评论(0)

RCFile之前听说 RCFile 在读取数据时可以跳过不需要的列,不需要将一整行读入然后选择所需字段,所以在 Hive 中执行 select a, b from tableA where c = 1 这样的操作就相对比较高效。为了满足好奇心,找了一下关于 RCFile 的论文(RCFile: A Fast and Space-effic...