数据为王

数据为王
关于大数据的那些事儿

标签关键词

关于 hadoop 的文章共有15条

Hadoop

大数据常见错误解决方案

阅读(1285)评论(0)

1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法:add export SPARK_LOCAL_IP="127.0.0.1" to...

Hadoop

Hadoop2的ResourceManager高可用配置

阅读(295)评论(0)

2.2.0出来以后关注了一些东西,比如2.2.0里面直接带了ResourceManager的高可用,这点比较吸引人。CDH自己出了一个解决方案,这次2.2的更新直接自己带了,还不错,这样就全了,Namenode有HA和Federation,RM也有了HA,而且也可以通过ZKFC自动做故障切换。直接记录配置 RM HA 的最小需求和配置项。跟NN的HA一样,R...

Hadoop

YARN日志聚合相关参数配置

阅读(969)评论(0)

日志聚合是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚合功能需要额外的配置。参数配置yarn-site.xml1.yarn.log-aggregati...

Hadoop

[干货]如何构建用户画像

阅读(542)评论(0)

从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖掘潜在的商业价值,如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。...

Hadoop

winutils.exe can not load

阅读(430)评论(0)

如果在linux系统上报错,解决办法:ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate...

Hadoop

解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎

阅读(471)评论(0)

本文由常雷博士在高可用架构群所做的分享整理而来。转载请注明高可用架构公众号ArchNotes。常雷 博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有多项美国专利。分享主要分为以下五个部分:...

Hadoop

Apache Calcite:Hadoop中新型大数据查询引擎

阅读(903)评论(0)

Apache Calcite是面向Hadoop新的查询引擎,它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力,除此之外,Calcite还提供了OLAP和流处理的查询引擎。正是有了这些诸多特性,Calcite项目在Hadoop中越来越引入注目,并被众多项目集成。Calcite之前的名称叫做optiq,optiq起初在Hive项目中,为Hive提供基...