repartition 和 coalesce 对比

Spark中repartition和coalesce 相同点 → 都是调整分区的方法

Spark中repartition和coalesce 区别 → repartition 默认有 shuffle 操作,coalesce 使用 hash paritioner 重新 shuffle 数据

什么情况使用 coalesce 调整分区 → filter 之后收缩分区

  • 为什么 → coalesce 不需要 shuffle

网络回响

作者

Ryen Xiang

发布于

2026-02-17

更新于

2026-02-17

许可协议


评论