Skip to content

Flink基础架构

1. 这是什么

Flink 基础架构描述了作业如何提交、调度、执行和容错。
这是理解实时计算系统整体运转方式的起点。

2. 为什么重要

如果不理解基础架构,后面看状态、checkpoint、并行度和容错时会很零散。
先建立整体视角,学习会顺畅很多。

3. 核心内容

  • JobManager
  • TaskManager
  • Slot
  • 并行度
  • 作业图与执行图
  • 资源调度基础认知

4. 学习重点

  • 理解 Flink 是分布式执行系统
  • 理解并行度和 slot 不是一个概念
  • 理解作业运行依赖调度和资源分配

5. 常见问题

  • 不理解作业为什么需要 slot
  • 把并行度简单等同于机器数量
  • 不了解任务拆分和执行模型

6. 练习建议

  • 画一张 Flink 基础架构图
  • 总结 JobManager 和 TaskManager 的职责
  • 结合一个简单作业理解执行链路

7. 自测问题

  • JobManager 和 TaskManager 分别做什么
  • Slot 在 Flink 中承担什么角色
  • 并行度为什么会直接影响吞吐