数据为王

2017-11-11阅读(479)评论(0)

摘要： HIVE被很广泛的使用，使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论，从问题描述、mapjion原理以及产生该问题的原因，解决方案做一下介绍，最后对该问题进行了进一步的思考，希望对解决该类问题的朋友有所帮助。问题描述在跑hive作业的时候，偶尔会遇到下面的异常 FAILED: Exec...

2017-11-11阅读(350)评论(0)

摘要： 1 概述 若所有表中只有一张小表，那可在最大的表通过Mapper的时候将小表完全放到内存中，Hive可以在map端执行连接过程，称为map-side join，这是因为Hive可以和内存的小表逐一匹配，从而省略掉常规连接所需的reduce过程。即使对于很小的数据集，这个优化也明显地要快于常规的连接操作。其不仅减少了reduce过程，而且有时...

2017-10-27阅读(1081)评论(0)

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to...

2017-10-12阅读(508)评论(0)

一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;    默认值：strict&n...

2017-8-30阅读(802)评论(0)

在hive中，会有这样一种情形：1、创建一个分区外部表A(比如A表有5个字段)，并且向A表里指定的分区(比如dt=2017-08-30这个分区)里插入数据2、发现A表缺少一些字段，因为存在元数据不实时更新的问题，不想更新元数据，就进行删表重新建表B(表B与表A除了多了几个字段外，别的都一样)3、再执行hql脚本，把最新的字段样式的数据插入到dt=2017-0...

2017-8-26阅读(451)评论(0)

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群。当...

2017-8-26阅读(772)评论(0)

hive事务讲解hive0.14版本之后，开始支持事务。Hive中事务的引入，使hive支持行级别的ACID，读操作与写操作不会冲突。hive事务的限制条件1.在现在的版本中，只支持ORC文件格式。 2.默认情况下，hive的事务性是关闭的，开启需要设置transactional=true。 3.表必须是Bucket表。 4.外...

2017-8-23阅读(319)评论(0)

使用sqoop1.4.6往mysql导数据，报错如下：17/08/23 15:10:41 INFO tool.CodeGenTool: Beginning code generation 17/08/23 15:10:41 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `c...

2017-7-27阅读(758)评论(0)

最近在学习机器学习，使用python2.7.13版本开发代码。开发环境是win10，IDE是pycharm在安装scipy模块是报错：numpy.distutils.system_info.NotFoundError: no lapack/blas resources found解决办法：需要安装进入网站：http://www.lfd.uci.edu/~go...