一. 整体架构模型

flink运行时有两种类型的进程组成：一个JobManager和若干个TaskManager，也是典型的主从架构。
高可用（HA）设置中可能有多个 JobManager，其中一个始终是 leader，其他的则是 standby。

角色	职责
Jobmanager	管理集群的计算资源、job的管理与调度执行、checkpoint的协调
taskmanager	提供计算资源供job运行
Client	解析job为JobGraph对象，然后提交到Jobmanager运行，并监控Job运行的状态

一个job被提交到集群的过程

客户将flink jar提交到client端，client将job解析为JobGraph实例，然后将jar和JobGraph一起通过RPC提交到jobmanager，提交成功后Jobmanager返回JobClient给client，用于job的通讯，可以用来获取job的状态。jobmanager将job拆分成不同的task并提交到TaskManagr开始作业的运行。

二. 架构成员

1. Jobmanager

jobmanager进程有三个组件组成

组件	作用
ResourceManager	1. 资源管理：管理task slots。slots资源调度的单位 2. Flink 为不同的环境和资源提供者（例如 YARN、Mesos、Kubernetes 和 standalone）实现了对应的 ResourceManager 3. standalone模式中，ResourceManager 只能分配可用 TaskManager 的 slots，不能启动新的。
Dispatcher	1. 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每个作业启动一个新的JobMaster。 2. 运行 Flink WebUI 用来提供作业执行信息。
JobMaster	管理单个JobGraph的执行。

组件

作用

ResourceManager

1. 资源管理：管理task slots。slots资源调度的单位

2. Flink 为不同的环境和资源提供者（例如 YARN、Mesos、Kubernetes 和 standalone）实现了对应的 ResourceManager

3. standalone模式中，ResourceManager 只能分配可用 TaskManager 的 slots，不能启动新的。

Dispatcher

1. 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每个作业启动一个新的JobMaster。

2. 运行 Flink WebUI 用来提供作业执行信息。

JobMaster

管理单个JobGraph的执行。

Jobmanager的作用：

将jobGraph转换成Execution Graph：jobGraph只是描述了逻辑图，Execution Graph会将Graph拆分成不同的执行单元（task），提交到taskmanager不同的slot上。
网络通讯：jobmanager、client、taskmanager之间通过Akka（rpc通讯）实现通讯。其中Akka的核心组件Actor System实现了远端通讯。
job的接收与分发
TaskManager的注册：当taskmanager启动时，它会通过akka向jobmanager进行注册，将自己的信息交给Jobmanager让它维护。而且和taskmanager之间进行heartbeat操作。

2. TaskManager

作用	描述
作业执行	一个taskmanager中对应多个slot，对于JVM进程，一个slot其实就是一个线程，slot集其实就是线程池。
Shuffle Environment管理	当有一些算子执行需要shuffle时，需要Data Exchange。
Memory Management内存管理	当task在执行时，会有数据到来，这需要申请一些内存单元，管理这些数据，例如序列化反序列化。
Rpc通讯	通过Akka的核心实现Actor System，进行网路通讯。
Network Management网络数据交换	通过netty实现taskmanager之间进行数据交互（上下游或shuffle）
接受Jobmanager的资源申请	jobmanager资源的申请，taskmanager返回申请的结果给jobmanager。