前言
我们知道，Spark在执行任务的时候，可以并行执行，可以将数据分散到不同的分区进行处理，但是在实际使用过程中，比如在某些场景下，一开始数据量大，给的分区是4个，但是到了数据处理快结束的时候，希望分区缩减，减少资源开销，这就涉及到分区的动态调整，就要使用到Spark提供的coalesce与repartition这两个算子了；
coalesce
函数签名
def coalesce(
numPartitions: Int
,
shuffle: Boolean = false
,partitionCoalescer: Option[PartitionCoalescer] = Option.empty)(implicit ord: Ordering[T] = null)
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由半码博客整理，本文链接：https://www.bmabk.com/index.php/post/143253.html
