数据为王

数据为王
关于大数据的那些事儿

标签关键词

关于 Tungsten 的文章共有1条

Spark

Spark Tungsten-sort Based Shuffle 分析

阅读(642)评论(0)

Tungsten-sort 算不得一个全新的shuffle 方案,它在特定场景下基于类似现有的Sort Based Shuffle处理流程,对内存/CPU/Cache使用做了非常大的优化。带来高效的同时,也就限定了自己的使用场景。如果Tungsten-sort 发现自己无法处理,则会自动使用 Sort Based Shuffle进行处理。前言看这篇文章前,建...