当前位置: 首页 > news >正文

flink执行图 - 教程

Flink执行图是描述作业从逻辑拓扑到物理部署的转换过程的核心数据结构,分为四层结构:

执行图分层结构

  1. StreamGraph(逻辑流图)
    根据用户通过DataStream API编写的代码生成的最初DAG图,表示程序的拓扑结构,通常在客户端完毕。

  2. JobGraph(作业图)
    StreamGraph经过优化后生成,提交给JobManager的数据结构。主要优化包括将符合条件的节点合并为算子链(Operator Chains),减少数据交换开销。

  3. ExecutionGraph(执行图)
    JobManager将JobGraph并行化后生成的核心调度结构,包含所有任务的并行实例、中间信息集及依赖关系。此阶段会为每个Task分配并行度,生成对应的ExecutionVertex。

  4. 物理执行图
    由TaskManager根据ExecutionGraph部署Task后形成的实际运行结构,并非具体数据结构,而是物理任务实例的拓扑关系。

关键优化机制

运行时组件协作

JobManager负责将JobGraph转换为ExecutionGraph并调度任务,TaskManager通过Slot资源执行具体Task,最终形成物理执行图

http://www.zskr.cn/news/15301.html

相关文章:

  • 总结问题2 软工10.3
  • BPL包无法调试的问题
  • 最短路练习
  • 学习笔记:压位高精
  • 近期杂题
  • 并查集 D. Shark [Codeforces Round 484(Div. 2)]
  • Hackersdaddy ROUGE CTF 2025 完整解题记录
  • AI元人文系列:透明推理者——下一代大模型架构设计
  • 实用指南:【C语言】char * 、char [ ]、const char * 和 void *的使用以及区别
  • 实用指南:1、docker入门简介
  • 调试parlant的大模型配置,最终自己动手写了g4f的模块挂载 - 教程
  • unity面向组合开发二:EC的代码实践
  • airsim多无人机+无人车联合仿真辅导 - 教程
  • CSP-JF36
  • 【进入便捷的系统不解决问题】ubuntu开机出现‘系统出错且无法恢复。请联系系统管理员’
  • QOJ #8147. Math Exam 题解
  • 国庆梦熊集训做题记录
  • 兰博平台: 星云抽卡豪华版. 作者acc177
  • AT_abc315_f [ABC315F] Shortcuts
  • 问题表 - microsoft
  • 随想八
  • SolarWinds Web Help Desk远程代码执行漏洞分析
  • Aria2安装
  • 正则表达式学习
  • 神经网络之简单的标量何以表达模型的拟合能力 - 指南
  • 一篇文章入门RabbitMQ:基本概念与Java利用
  • PHP程序员要是基础不扎实,越学越吃力
  • 《电路基础》第七章学习笔记
  • LLM大模型:deepseek sparse attention是个啥?
  • 微信公众号推文添加附件方法,1分钟学会!支持word,excel,pdf等适合招聘,公告,申请表等