repartition 和 coalesce 对比
Spark中repartition和coalesce 相同点 → 都是调整分区的方法
Spark中repartition和coalesce 区别 → repartition 默认有 shuffle 操作,coalesce 使用 hash paritioner 重新 shuffle 数据
什么情况使用 coalesce 调整分区 → filter 之后收缩分区
- 为什么 → coalesce 不需要 shuffle
网络回响
repartition 和 coalesce 对比