581.SPARK 运行流程
- 构建 Spark Application 的运行环境,启动 SparkContext
- SparkContext 向资源管理器(可以是 Standalone,Mesos,Yarn)申请运行 Executor 资源,并启动 StandaloneExecutorbackend,
- Executor 向 SparkContext 申请 Task
- SparkContext 将应用程序分发给 Executor
- SparkContext 构建成 DAG 图,将 DAG 图分解成 Stage、将 Taskset 发送给 Task Scheduler,最后由 Task Scheduler 将 Task 发送给 Executor 运行
- Task 在 Executor 上运行,运行完释放所有资源