新一代云原生工作流任务调度平台,分布式易扩展,开箱即用

新一代云原生工作流任务调度平台,分布式易扩展,开箱即用新一代云原生工作流任务调度平台,致力于“解决任务之间错综复杂的依赖关系,让整个数据处理开箱即用”。
一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



主页:项目和工作流概览,包括最新的工作流实例和任务实例状态统计。





工作流定义:通过拖拉拽创建和管理工作流,轻松构建和维护复杂的工作流。





工作流树状图:抽象的树形结构可以更清晰地理解任务之间的关系





数据源:支持管理多种外部数据源,为MySQL、PostgreSQL、Hive、Trino等,并提供统一的数据访问能力。





监控:实时查看master、worker和数据库的状态,包括服务器资源使用情况和负载情况,无需登录服务器即可快速进行健康检查。





功能概述
新一代云原生工作流任务调度平台,致力于“解决任务之间错综复杂的依赖关系,让整个数据处理开箱即用”。


DolphinScheduler 的主要特性如下:


易于部署,提供四种部署方式,包括Standalone、Cluster、Docker和Kubernetes


易于使用,可以通过四种方式创建和管理工作流,包括Web UI、Python SDK、Yaml文件和Open API


高可靠高可用,多主多从的去中心化架构,原生支持横向扩展


高性能,性能比其他编排平台快N倍,每天可支持千万级任务


Cloud Native,DolphinScheduler支持编排多云/数据中心工作流,支持自定义任务类型


对工作流和工作流实例(包括任务)进行版本控制


工作流和任务的多种状态控制,支持随时暂停/停止/恢复它们


多租户支持


其他如回填支持(Web UI 原生),包括项目、资源和数据源的权限控制


技术选型
前置准备工作
JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。


二进制包:在下载页面下载 DolphinScheduler 二进制包


启动 DolphinScheduler Standalone Server
解压并启动 DolphinScheduler
二进制压缩包中有 standalone 启动的脚本,解压后即可快速启动。切换到有sudo权限的用户,运行脚本

  1. # 解压并运行 Standalone Server
  2. tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
  3. cd apache-dolphinscheduler-*-bin
  4. bash ./bin/dolphinscheduler-daemon.sh start standalone-server

复制代码

登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

启停服务

脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外,还能停止服务运行,全部命令如下
  1. # 启动 Standalone Server 服务
  2. bash ./bin/dolphinscheduler-daemon.sh start standalone-server
  3. # 停止 Standalone Server 服务
  4. bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

复制代码

下载说明:
1.本站资源都是白菜价出售,同样的东西,我们不卖几百,也不卖几十,甚至才卖几块钱,一个永久会员能下载全站100%源码了,所以单独购买也好,会员也好均不提供相关技术服务。
2.如果源码下载地址失效请联系站长QQ进行补发。
3.本站所有资源仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您权益请联系本站删除!
4.本站站内提供的所有可下载资源(软件等等)本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发);但本网站不能保证资源的准确性、安全性和完整性,由于源码具有复制性,一经售出,概不退换。用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug;同时本站用户必须明白,【安安资源网】对提供下载的软件等不拥有任何权利(本站原创和特约原创作者除外),其版权归该资源的合法拥有者所有。
5.请您认真阅读上述内容,购买即以为着您同意上述内容,由于源码具有复制性,一经售出,概不退换。
安安资源网 » 新一代云原生工作流任务调度平台,分布式易扩展,开箱即用