数据为王

数据为王
关于大数据的那些事儿

标签关键词

关于 大数据 的文章共有1条

Hadoop

十道大数据的题与十个海量数据处理的方法

阅读(786)评论(0)

第一部分、十道海量数据处理面试题  1、海量日志数据,提取出某日访问百度次数最多的那个IP。  此题,在我之前的一篇文章算法里头有所提到,当时给出的方案是:IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。  再详细介绍下此方案:首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP...