• Stars
    star
    387
  • Rank 110,971 (Top 3 %)
  • Language
    Java
  • License
    Apache License 2.0
  • Created over 4 years ago
  • Updated about 1 month ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

Schedulis is a high performance workflow task scheduling system that supports high availability and multi-tenant financial level features, Linkis computing middleware, and has been integrated into data application development portal DataSphere Studio

License

简介

Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio

Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。

与 DataSphere Studio 和 Linkis 的对接

DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度,而 Schedulis 也实现了 Linkis 插件,用于向 Linkis 提交任务,这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。

与业界现有调度系统的比较

下面将 Schedulis 和业界现有的调度系统做了个对比,包括:Azkaban, Airflow 和 Xxl-job

模块 描述 Schedulis Azkaban Airflow Xxl-job
HA 调度中心高可用 支持 不支持 不支持 支持
资源管理 执行节点多租户 支持 不支持 不支持 不支持
运行视图 工作流结构图(DAG) 清晰显示任务状态,任务类型,工作流状态,重试次数等关键信息 只显示工作流和任务状态 只显示任务状态 只显示任务状态
WeDataSphere整合 对DataSphere Studio和Linkis的支持 与DSS和Linkis无缝对接 不支持 不支持 不支持
特色功能 循环执行 支持 不支持 不支持 不支持
灵活的工作流参数 支持不同级别多种设置方式的工作流参数 不支持 不支持 不支持
hive表数据到达检查 支持 不支持 不支持 不支持
工作流之间交互依赖 支持 不支持 不支持 不支持
失败策略

支持任务失败暂停、跳过、重试、超时处理

不支持失败策略

支持部分任务重跑策略

支持任务超时处理和失败重试

系统管理 用户管理 支持 不支持 支持 不支持

界面预览

image

架构设计

Schedulis Architecture

DSS工程发布到调度系统的架构设计

文档列表

Schedulis 环境部署文档

Schedulis 用户使用手册

Schedulis AppConn 插件安装

Schedulis 版本升级手册

Communication

如果您想得到最快的响应,请给我们提 issue,或者扫码进群:

communication

License

Schedulis is under the Apache 2.0 License. See the License file for details.

More Repositories

1

DataSphereStudio

DataSphereStudio is a one stop data application development& management portal, covering scenarios including data exchange, desensitization/cleansing, analysis/mining, quality measurement, visualization, and task scheduling.
Java
3,050
star
2

fes.js

Fes.js 是一个基于 Vue 3 好用的前端应用解决方案。以约定、配置化、组件化的设计思想,让用户仅仅关心用组件搭建页面内容。技术曲线平缓,上手也简单。在经过多个项目中打磨后趋于稳定。丰富的 Vue 3 生态 和 Fes.js 插件,让业务开发更加简单快捷~
JavaScript
1,390
star
3

Scriptis

Scriptis is for interactive data analysis with script development(SQL, Pyspark, HiveQL), task submission(Spark, Hive), UDF, function, resource management and intelligent diagnosis.
Vue
806
star
4

Qualitis

Qualitis is a one-stop data quality management platform that supports quality verification, notification, and management for various datasource. It is used to solve various data quality problems caused by data processing. https://github.com/WeBankFinTech/Qualitis
Java
693
star
5

WeDataSphere

WeDataSphere is a financial grade, one-stop big data platform suite.
653
star
6

Prophecis

Prophecis is a one-stop cloud native machine learning platform.
Go
475
star
7

Exchangis

Exchangis is a lightweight,highly extensible data exchange platform that supports data transmission between structured and unstructured heterogeneous data sources
Java
447
star
8

Visualis

Visualis is a BI tool for data visualization. It provides financial-grade data visualization capabilities on the basis of data security and permissions, based on the open source project Davinci contributed by CreditEase.
TypeScript
261
star
9

wxa

🖖 轻量级的小程序开发框架。可以渐进接入的小程序开发框架,专注于小程序原生开发,提供更好的工程化、代码复用能力,提高开发效率并改善开发体验。
JavaScript
226
star
10

Dockin

微众银行开源的基于私有云的容器平台
209
star
11

WeBank-all-Project

All the project addresses participated and established by WeBank are collected.汇集了微众银行参与和建立的所有项目地址。
202
star
12

DeFiBus

DeFiBus is a decentralized finacial message bus for microservices, provide request/reply, unicast, multi-cast, broadcast, delay-message etc, and also privide service governance capacity and operation tools.
Java
191
star
13

KoalaForm

中后台前端低代码表单
TypeScript
145
star
14

fes-design

Vue3 组件库,Typescirpt 编写,高性能,支持按需引入、国际化、配置主题,适配低代码。
TypeScript
139
star
15

WeTrident

一站式App开发套件,帮助开发者快速开发可正式上线运营的App。
JavaScript
125
star
16

DataSphereStudio-Doc

DataSphereStudio documents.
110
star
17

Streamis

Streaming application development and management system, based on Linkis and DSS, planning to provide the workflow-like graphical drag-and-drop development capability.
Java
103
star
18

Dockin-Installer

Production-grade highly available container platform
Shell
59
star
19

incubator-linkis-doc

incubator-linkis-doc has been migrated to incubator-linkis-website: https://github.com/apache/incubator-linkis-website
40
star
20

Dockin-RM

Dockin container platform resource manager is the core module for application definition and container instance management
Java
40
star
21

Dockin-Ops

dockin ops is a project used to handle the exec request for kubernetes under supervision
Go
37
star
22

wt-console

A lightweight, extendable react-native developer and tester tool
JavaScript
34
star
23

Dockin-CNI

kubernetes cni plugin, support fixed ip
Go
31
star
24

eventmesh-connector-defibus

connector for defibus in eventmesh
Java
8
star
25

wxa-vscode

微信小程序开发助手。开箱即用,安装完毕你将获得:代码自动填充、格式化; 语法高亮、检查(包括wxml、wxs文件); 代码片段提示; 单文件组件支持
TypeScript
8
star
26

TractionWidget

牵引小组件
Vue
7
star
27

react-native-rtext

JavaScript
6
star
28

WeCloudStack

Webank Financial Cloud (native) tech Stack for building cloud (native) applications.
1
star
29

wxa-templates

1
star