Flink基础架构
1. 这是什么
Flink 基础架构描述了作业如何提交、调度、执行和容错。
这是理解实时计算系统整体运转方式的起点。
2. 为什么重要
如果不理解基础架构,后面看状态、checkpoint、并行度和容错时会很零散。
先建立整体视角,学习会顺畅很多。
3. 核心内容
- JobManager
- TaskManager
- Slot
- 并行度
- 作业图与执行图
- 资源调度基础认知
4. 学习重点
- 理解 Flink 是分布式执行系统
- 理解并行度和 slot 不是一个概念
- 理解作业运行依赖调度和资源分配
5. 常见问题
- 不理解作业为什么需要 slot
- 把并行度简单等同于机器数量
- 不了解任务拆分和执行模型
6. 练习建议
- 画一张 Flink 基础架构图
- 总结 JobManager 和 TaskManager 的职责
- 结合一个简单作业理解执行链路
7. 自测问题
- JobManager 和 TaskManager 分别做什么
- Slot 在 Flink 中承担什么角色
- 并行度为什么会直接影响吞吐