更新时间:2023-06-23 来源:黑马程序员 浏览量:
Spark会产生DAG图，DAG图会基于分区和宽窄依赖关系划分阶段。一个阶段的内部都是窄依赖，窄依赖内，如果形成前后1：1的分区对应关系，就可以产生许多内存迭代计算的管道。
这些内存迭代计算的管道，就是一个个具体的执行Task，一个Task是一个具体的线程，任务跑在一个线程内，就是走内存计算了。
Spark的算子丰富，MapReduce算子圆乏(Map和Reduce)，MapReduce这个编程模型，很难在一套MR中处理复杂的任务。很多的复杂任务，是需要写多个MapReduce进行串联.多个MR串联通过磁盘交互数据。
Spark可以执行内存迭代，算子之间形成DAG基于依赖划分阶段后，在阶段内形成内存迭代管道.但是MapReduce的Map和Reduce之间的交互依旧是通过硬盘来交互的.
毕业16个工作日，平均薪资13180元，就业率100%，广州黑马AI智能应用开发（Java）学科20250529班
2026-03-06毕业32个工作日，平均薪资11147元，就业率95%，广州黑马AI智能应用开发（Java）学科20250326班
2026-03-05黑马程序员2025全国就业数据发布：全学科平均就业率92.07%，AI开发类就业平均薪资达11869.67元。
2026-03-05黑马全国校区齐开班！场面太太太壮观了！
2026-03-03AI智能应用开发课程紧贴企业刚需，全程高效学习，直达中高级软件开发水平
2026-02-28风口正劲！黑马程序员又一AI智能应用开发班毕业当天100%就业！
2026-02-27
AI智能应用开发
AI大模型开发
AI鸿蒙开发
AI嵌入式+
AI大数据开发
AI运维
AI测试
跨境电商运营
AI设计
AI视频创作运营
.jpg)