数据为王

数据为王
关于大数据的那些事儿
Hadoop

20万现金奖金,5万+真实交通事故数据,数据爱好者们能力变现的时候来了!

阅读(1179)评论(0)

报名链接亲爱的数据极客们,在你和无尽的bug斗争时,是否因为大材小用而痛苦,或者因为没有价值的项目而郁郁寡欢?But,擦亮眼睛,机会可是到处有!只要你愿意,可以随时加入真正有挑战、创造无限价值的数据竞赛,运用你的才智和技术,解决难题,斩获奖金。为了更深入地挖掘交通事故背后的诱因,带动公众关注交通安全,贵阳市公安交管局携手全国最大数据科学与创意竞赛平台Data...

机器学习

Linux下面安装OpenCV3.3.0

阅读(422)评论(0)

最近写了一个J2EE的项目,其中用到了OpenCV的相关内容,所以下载了一个OpenCV库,并且在Windows下面做了开发测试,话不多说,这里直接给下载链接 https://opencv.org/opencv-3-3.html 。在这个链接页面中,可以找到不同平台下的OpenCV库,分别是windows、iOS、安卓以及源码包,如下图:...

机器学习

centos6使用c++11

阅读(153)评论(0)

CentOS 6.4 使用C++11,需要安装 devtools21.下载 repo 到本地wget http://people.centos.org/tru/devtools-2/devtools-2.repo -O /etc/yum.repos.d/devtools-2.repo12.安装yum install devtoolset-2-gcc devt...

Spark

Spark History Server配置使用

阅读(178)评论(0)

Spark history Server产生背景以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历...

Spark

Spark中的Application、SparkSession、SparkContext、RDD及其拓展

阅读(222)评论(0)

接触 Spark 的时候容易产生这样的疑惑,RDD 是什么,SparkContext 是什么,SparkSession 又是什么... 它们之间又是什么关系?简介先来个简单的一图流:再来个粗暴的一句话描述:Application:用户编写的Spark应用程序,Driver 即运行上述 Application 的 main() 函数并且创建 SparkCont...

Spark

Spark核心技术原理透视二(Spark运行模式)

阅读(292)评论(0)

上一章节详细讲了Spark的运行原理,没有关注的童鞋可以关注加米谷大数据查看上一章节的详细内容。通过Spark运行原理的讲解大家了解了Spark在底层的运行,那Spark的运行模式又是什么样的呢?通过本文以下的讲解大家可以详细的学习了解。1、Spark运行模式主要分为以下几种,如图所示。2、Spark on Standalone 模式Standalone模式...

Kafka

Kafka OffsetMonitor:监控消费者和延迟的队列

阅读(251)评论(0)

一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以de...

机器学习

Spark机器学习API之特征处理(二)

阅读(181)评论(0)

Spark机器学习库中包含了两种实现方式,一种是spark.mllib,这种是基础的API,基于RDDs之上构建,另一种是spark.ml,这种是higher-level API,基于DataFrames之上构建,spark.ml使用起来比较方便和灵活。Spark机器学习中关于特征处理的API主要包含三个方面:特征提取、特征转换与特征选择。本文通过例子介绍和...