581.SPARK 运行流程

  1. 构建 Spark Application 的运行环境,启动 SparkContext
  2. SparkContext 向资源管理器(可以是 Standalone,Mesos,Yarn)申请运行 Executor 资源,并启动 StandaloneExecutorbackend,
  3. Executor 向 SparkContext 申请 Task
  4. SparkContext 将应用程序分发给 Executor
  5. SparkContext 构建成 DAG 图,将 DAG 图分解成 Stage、将 Taskset 发送给 Task Scheduler,最后由 Task Scheduler 将 Task 发送给 Executor 运行
  6. Task 在 Executor 上运行,运行完释放所有资源