任务调度大数据后端前端【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址https://gitcode.com/gh_mirrors/do/dolphinscheduler点击查看免费下载本篇指南基于 DolphinScheduler 官方快速上手文档带你走完一条完整的入门路径安装启动服务 → 登录 Web UI → 创建租户并分配给用户 → 创建项目与工作流 → 用拖拽方式编排 Shell 任务与依赖 → 运行工作流并查看任务日志。读完本文你将掌握 DolphinScheduler 中「用户 / 租户 / 项目 / 工作流 / 任务 / 工作流实例」这些核心概念的实际用法能够独立搭建环境并跑通第一个可观测的 DAG 工作流。开始之前安装并启动 DolphinScheduler在创建任何工作流之前必须先安装并启动 DolphinScheduler。对初学者而言官方推荐两种最省事的启动方式Standalone Server单机极速体验和Docker 镜像。方式一Standalone Server 极速体验Standalone 模式把所有服务打包在一个进程中使用内存数据库 H2 与内嵌的 Zookeeper Testing Server无需额外安装任何依赖组件是最快的上手方式。安装 JDK 1.8 或 11并配置JAVA_HOME环境变量在官方下载页面获取 DolphinScheduler 二进制包解压并启动tar -xvzf apache-dolphinscheduler-*-bin.tar.gz chmod -R 755 apache-dolphinscheduler-*-bin cd apache-dolphinscheduler-*-bin bash ./bin/dolphinscheduler-daemon.sh start standalone-server启动后浏览器访问 http://localhost:12345/dolphinscheduler/ui 即可进入登录页默认账号为admin默认密码为dolphinscheduler123。日常维护同样通过dolphinscheduler-daemon.sh脚本完成该脚本位于仓库 script/dolphinscheduler-daemon.sh完整命令如下# 启动 Standalone Server 服务 bash ./bin/dolphinscheduler-daemon.sh start standalone-server # 停止 Standalone Server 服务 bash ./bin/dolphinscheduler-daemon.sh stop standalone-server # 查看 Standalone Server 状态 bash ./bin/dolphinscheduler-daemon.sh status standalone-server注意Standalone 模式仅建议在 20 个以下工作流的场景使用。它采用内存式 H2 数据库和 Zookeeper Testing Server任务过多可能导致不稳定一旦重启或停止 standalone-server内存数据库中的数据会被清空。Standalone 也支持元数据持久化但需要切换外部数据库如 MySQL 或 PostgreSQL。默认资源中心目录为/tmp/dolphinscheduler如需修改可调整conf/common.properties中 resource 相关配置项。方式二Docker 一键启动如果你希望体验更完整的服务形态独立的 API、Master、Worker、Alert 组件以及 PostgreSQL 与 ZooKeeper 依赖推荐使用 Docker。仓库自带的编排文件位于 deploy/docker/docker-compose.yml从其中可以看到 API 服务将12345端口映射到宿主机并通过/dolphinscheduler/actuator/health做健康检查。# 1. 拉取源码包并进入 docker 部署目录 tar -zxf apache-dolphinscheduler-version-src.tar.gz cd apache-dolphinscheduler-version-src/deploy/docker # 2. 首次启动先初始化或升级数据库结构profile 指定为 schema docker-compose --profile schema up -d # 3. 再启动全部服务profile 指定为 all docker-compose --profile all up -d若只想最快体验也可以直接使用 standalone-server 镜像docker run --name dolphinscheduler-standalone-server \ -p 12345:12345 -p 25333:25333 \ -d apache/dolphinscheduler-standalone-server:version注意apache/dolphinscheduler-standalone-server镜像不应用于生产环境。除了它将全部服务运行在单进程中外还因为它使用内存数据库 H2 存储元数据服务停止即清空并且该镜像仅包含核心服务Spark、Flink 等部分任务组件及 Telegram、Dingtalk 等告警组件需要外部组件或额外配置才能使用。docker-compose 方式则会将 PostgreSQL 与 ZooKeeper 一并拉起各服务独立容器运行、相互影响最小重启服务时可保留元数据。更完整的 Docker 部署细节包括沿用已有 PostgreSQL / ZooKeeper 的环境变量启动方式见 Docker 快速使用教程 与 Standalone 极速体验版。理解两个关键角色用户与租户登录 Web UI 的admin账号在 DolphinScheduler 中被称为用户User。为了更精细地控制系统资源DolphinScheduler 引入了租户Tenant概念用户User登录 Web UI在界面中执行所有操作包括工作流管理、租户创建等租户Tenant任务的实际执行者对应 Worker 节点上的一个 Linux 用户任务最终会以该 Linux 用户身份运行。也就是说用户在界面上「编排」租户在系统层面「执行」。这一设计在数据库初始化脚本 dolphinscheduler_postgresql.sql 中体现得很清楚t_ds_tenant表以tenant_code租户编码对应 Linux 用户为核心字段并关联了queue_id队列而t_ds_user表dolphinscheduler_postgresql.sql通过tenant_id字段与租户关联。默认数据中已经内置了一个default租户tenant_id -1和一个超级用户admin其tenant_id同样为-1见 dolphinscheduler_postgresql.sql。因此如果没有给用户关联租户任务会使用默认租户 default以程序启动用户身份执行——这也是新手最容易踩的坑任务执行权限可能不符合预期。第一步创建租户进入Security - Tenant Manage安全中心 → 租户管理页面点击「创建租户」按钮填写租户编码对应 Linux 用户、队列等信息即可完成创建。注意如果没有关联租户则会使用默认租户 default任务将以程序启动用户执行。第二步将租户分配给用户正如上一步所述用户只有在被分配到某个租户之后才能以该租户身份运行任务。在Security - User Manage安全中心 → 用户管理页面中找到目标用户编辑并为其指定一个租户即可完成分配。完成「创建租户」并「分配给用户」这两步后就有了运行工作流的权限基础接下来开始编排第一个工作流。第三步创建项目在 DolphinScheduler 中所有工作流都必须归属于某个项目项目是工作流的分组与权限边界。在Project项目管理页面点击「创建项目」按钮输入项目名称本教程命名为tutorial即可。第四步创建工作流点击刚创建的项目进入项目详情切换到「工作流定义」页面点击「创建工作流」按钮页面会跳转到工作流画布DAG 编辑页。所有任务编排都在这块画布上完成。第五步创建任务在工作流画布左侧的工具栏中用鼠标把要创建的任务类型拖拽到画布上。本教程以Shell 任务为例——这也是最基础、最能说明执行原理的任务类型。在弹出的任务配置表单中为任务填写必要信息节点名称第一个任务填script之类的名称即可本教程中填「脚本」脚本内容第一个任务打印Hello DolphinScheduler第二个任务打印Ending...。填写完成后点击「确认」把任务保存到工作流中再用相同方式创建第二个任务。最终工作流中包含两个任务它们目前是相互独立的还没有先后关系。从源码层面看Shell 任务的执行逻辑封装在 ShellTask.java任务初始化时会将 JSON 格式的任务参数解析为ShellParameters并校验参数合法性checkParameters()执行阶段则通过ShellInterceptorBuilderFactory构建脚本拦截器把prepareParamsMap中的参数注入脚本后交给ShellCommandExecutor运行执行完成后根据返回的退出码exitStatusCode判定任务成败。这解释了为什么任务配置里的脚本可以引用全局参数与系统参数——它们在执行前会被统一替换注入。第六步设置任务依赖两个任务已经就位但还缺少「先后顺序」。在 DolphinScheduler 中任务依赖通过画布上的连线DAG 边来表达鼠标移动到上游任务节点的右侧锚点按住鼠标左键将箭头拖拽到下游任务节点上松开鼠标两个任务之间就会出现一条有向箭头表示「上游完成 → 下游开始」的依赖关系。连线完成后点击画布右上角的「保存」按钮并在弹出的对话框中填写工作流名称建议与项目语义一致工作流即定义完成。提示DolphinScheduler 的工作流本质上就是一个有向无环图DAG多个任务之间可以自由连线形成串行、并行、条件分支等多种拓扑本教程的串行依赖是最基础的形态。第七步运行工作流工作流定义保存后回到「工作流定义」列表页需要经过两个动作才能触发运行上线Online点击工作流条目右侧的「上线」按钮将工作流置为可调度状态运行Run点击「运行」按钮触发一次手动执行。运行后进入「工作流实例」页面即可看到刚触发的工作流实例正在运行状态显示为Executing执行中。工作流实例是对一次具体执行过程的记录包含了该次运行的状态、开始时间、耗时等运行时信息。第八步查看任务日志工作流实例执行过程中可以查看其中每个任务的详细运行日志在「工作流实例」列表中点击该实例进入实例详情DAG 视图找到要查看日志的任务节点右键点击在弹出的上下文菜单中选择View Log查看日志。在日志中可以看到任务打印的内容——本教程中任务定义的两个 Shell 任务会分别输出Hello DolphinScheduler和Ending...与你之前在任务脚本中定义的内容一致。日志是排查任务失败原因的第一现场DolphinScheduler 为每个任务独立记录日志并支持在线查看与下载。一条完整的自动化验证链路上述「登录 → 创建租户 → 分配用户 → 创建项目 → 创建 Shell 工作流 → 发布 → 运行 → 查看实例」的完整链路在仓库的端到端测试中得到了程序化验证E2E 用例 WorkflowE2ETest.java 使用admin/dolphinscheduler123登录依次创建租户、为用户更新租户、创建项目、以 Shell 任务创建工作流脚本中使用了${today}等内置参数并发布随后断言工作流出现在列表中——这与本文的图文流程完全一一对应。如果你希望用自动化方式回归这套流程可以直接参考该测试的编排顺序。小结与下一步至此你已经完成了 DolphinScheduler 的第一个教程掌握了从服务启动、登录、租户与用户配置到项目、工作流、任务、依赖、运行与日志查看的完整闭环能够独立运行简单的工作流了。在此基础上可以继续深入查看 Docker 快速使用教程 体验更完整的服务形态或阅读 Standalone 极速体验版 了解元数据库切换与配置细节当需要把工作流接入真实调度时可进一步参考伪集群、集群与 Kubernetes 部署方案以及任务插件、告警插件等扩展能力。赞分享任务调度大数据后端前端【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址https://gitcode.com/gh_mirrors/do/dolphinscheduler点击查看免费下载相关推荐Apache DolphinScheduler 快速上手从零创建并运行你的第一个工作流Apache DolphinScheduler 快速上手从零创建并运行你的第一个工作流 本指南是 Apache DolphinScheduler 的入门实战教任务调度数据编排工作流自动化后端大数据Apache DolphinScheduler 快速入门从零创建并运行你的第一个工作流Apache DolphinScheduler 快速入门从零创建并运行你的第一个工作流 导读 本文基于 Apache DolphinScheduler 官方任务调度数据编排工作流自动化后端大数据Apache DolphinScheduler 快速入门从零创建并运行你的第一个工作流Apache DolphinScheduler 快速入门从零创建并运行你的第一个工作流 本指南以 DolphinScheduler 官方 Quick Star任务调度大数据后端前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
