(資料圖片)

導讀：國內某頭部理財服務提供商成立于 2019 年，是股份制銀行中首批獲準籌建、首家獲準開業(yè)、首家成立的銀行理財子公司。自 2004 年推出國內首支人民幣理財產品以來，通過投資模式的不斷創(chuàng)新和投資管理能力的持續(xù)提升，引領國內銀行業(yè)理財市場。該企業(yè)每天處理的任務量達 1W，內部系統(tǒng)眾多，當務之急是需要一個統(tǒng)一的調度和監(jiān)控平臺，支持不同理財業(yè)務場景下的需求。

2023 年之前，該企業(yè)使用開源版本的大數據調度平臺 Apache DolphinScheduler 能基本上滿足業(yè)務需求，但隨著業(yè)務量增大和個性化需求的增長，在經過周密的調研之后，決定將所有調度任務遷移到商業(yè)版本白鯨調度系統(tǒng)之上。

采用白鯨調度系統(tǒng)讓該企業(yè)實現了統(tǒng)一調度和監(jiān)控運維，調度性能大幅提高。本文將詳細描述白鯨調度系統(tǒng)為該企業(yè)提供的解決方案和相關應用實踐。

業(yè)務需求

國內某頭部理財服務提供商所處的金融行業(yè)屬于數據密集型行業(yè)，隨著這個行業(yè)的不斷發(fā)展和技術的不斷進步，金融數據的數據量不斷增加，數據來源也越來越多樣化，其需要對數據質量進行嚴格的把控，并需要具備高效的數據處理和分析能力。此外，金融市場變化快速，風險控制需要實時響應，這對其數據處理和分析能力提出了更高的要求。同時，保護客戶的隱私和機密信息，防范網絡攻擊和數據泄露等安全問題，都對該企業(yè)提出重要的挑戰(zhàn)。

具體來說，該企業(yè)的產銷、投資、風險評估、運營投資等團隊都有自己的數據集市（數倉），每個團隊都從需要的貼源層獲取到自己需要的數據，經過各自團隊的ETL 流程，將統(tǒng)計數據輸出到各自的集市中，再把自己的集市數據分享給其他人。

由于每個團隊都有各自的調度平臺，這導致平臺的維護成本非常高，運維管理也很不方便，另一方面也不能集中統(tǒng)計和管理所有團隊的任務。

因此，統(tǒng)一調度系統(tǒng)的建設在該企業(yè)是當務之急。在建設數據體系過程中，其需要基于信創(chuàng)環(huán)境下建設具有高性能、可靠性高、易擴展的調度系統(tǒng)，以滿足該企業(yè)在數據體系建設中各類數據處理任務的統(tǒng)一調度和監(jiān)控需求，實現統(tǒng)一調度和監(jiān)控運維，支持不同場景下實現各自個性化的需求，保障數據體系的基礎建設。

接到商業(yè)調度需求時，該企業(yè)當時的調度集群由 3 臺 40C*256G 的機器組成，由兩臺 API 、3 個 Master 、3 個 Worker組成，每天處理 1 萬量級的任務，將來可能到 3 萬+/天。

具體到業(yè)務線上，該企業(yè)對建設調度系統(tǒng)有著如下需求：

要支持各部門使用統(tǒng)一的調度系統(tǒng)，使用權限將各部門的資源進行隔離，保證系統(tǒng)運轉的隔離性和安全性。

要有豐富的監(jiān)控和統(tǒng)計功能，支持統(tǒng)一的數據監(jiān)控、運維服務的需求；

調度系統(tǒng)要支持多種觸發(fā)類型，比如事件、自定義日歷、依賴調度等方式觸發(fā)作業(yè)，支持用戶靈活配置作業(yè)及組合工作流，實現在不同場景的調度需求；

需要能結合該企業(yè)自身需求，支持信創(chuàng)組件、擴展性的任務類型、數據源類型、告警組件及其他擴展需求；

支持分布式的架構及資源控制等方法，實現一個高可靠性，高處理性能的調度系統(tǒng)；

支持定制化需求，比如和該企業(yè)的自身用戶系統(tǒng)對接用戶及權限數據，對接客戶的統(tǒng)一登錄平臺，以及其他數據處理平臺和告警平臺。

基于白鯨調度系統(tǒng)的一站式解決方案

白鯨調度系統(tǒng)國產信創(chuàng)化調度平臺，就是為了支持客戶在數據體系建設中不同場景的任務調度需求，針對企業(yè)級用戶對系統(tǒng)的穩(wěn)定性、可靠性、合規(guī)性、高性能、支持信創(chuàng)環(huán)境等要求而開發(fā)出的商業(yè)化版本，定位于企業(yè)級統(tǒng)一調度平臺，為企業(yè)的批處理任務制定統(tǒng)一的開發(fā)規(guī)范、運維方法，對各系統(tǒng)的批量任務進行統(tǒng)一管理、調度和監(jiān)控。

白鯨調度系統(tǒng)繼承了大數據調度平臺 Apache DolphinScheduler強大的功能與易用性，同時增加了多項企業(yè)級功能以滿足實際行業(yè)用戶需求，讓企業(yè)可以部署一套調度系統(tǒng)，減少維護成本，擁有強大的調度能力。

在明確需求后，白鯨開源自信白鯨調度系統(tǒng)能夠滿足客戶的全部需求，著手分步驟、分階段進行解決方案的實施部署。經過了一系列測試后，白鯨開源啟動了實施方案，并幫助客戶解決了部署前、部署中和部署后的一系列問題，為其交付了完整的解決方案。

整體技術方案

白鯨調度系統(tǒng)主要使用無中心架構的設計思想，通過注冊中心發(fā)現服務，服務之間可以互為備份，保證了系統(tǒng)的可靠性的同時，也可以做到水平擴展服務數量，能夠很好地支持企業(yè)千萬級別的任務數量，完全滿足金融業(yè)務場景數據處理量大的需求。

白鯨調度系統(tǒng)主要服務包括 UI 用戶界面、接口層 API 服務，MasterServer、WorkerServer、AlertServer 五個模塊，其中任務處理服務 MasterServer 和 WorkerServer 是典型的無中心架構，通過注冊中心自動發(fā)現服務的啟動和關閉，能有效支持任務數量激增和減少的場景，同時可以保證任務處理的可擴展性和高性能。

系統(tǒng)所有服務均采用分布式部署，支持高穩(wěn)定性、高性能和高容錯性，保證提供可持續(xù)使用的服務，即使客戶的數據中心散步在全國各地，白鯨調度系統(tǒng)也能輕松應對來自客戶不同部門數據系統(tǒng)的處理需求。

針對客戶的需求，白鯨調度系統(tǒng)提供的解決方案讓每個團隊都擁有了自己的任務執(zhí)行集群，調度系統(tǒng)是單獨的集群，免密登錄各自團隊的集群，各團隊都在調度上使用 shell 任務 的 ssh remote "shell command" 來執(zhí)行各自集群上的任務。

具體解決方案包括（由于保密需求，只透露部分信息）：

圖片

多日歷管理方便多個市場交易日、工作日、自然日管理

針對企業(yè)設計多種日歷，支持調度日歷、業(yè)務數據日歷分開，并支持不同時區(qū)、日歷導入等功能：

支持多種日歷管理：交易日、工作日、自然日等

支持日歷 Excel 模板導入

支持調度日歷與業(yè)務日歷分開

支持多時區(qū)設置

支持日切時間設置

強大的業(yè)務數據日期功能更好滿足金融行業(yè)需求

針對客戶調度當中的業(yè)務數據日期單獨進行設計，更好地滿足金融行業(yè)需求：

多次調度使用同一業(yè)務數據日期（例，最后一個交易日，如果不翻牌，數據指針停止在這一天，例如 ，9.30 不跑 10.1 七天 10.6日開始跑，依然跑的是 9.30 日）

強大的業(yè)務翻牌任務

支持前后自定義翻牌

支持自定義腳本直接生成業(yè)務日期數值

支持定時翻牌和任務結束翻牌

配合日歷，支持多種復雜函數用于數據處理

前后 n 日、月（工作日、交易日、自然日）

當前牌所在月、年（工作日、交易日、自然日）

事件驅動滿足文件、Kafka、數據庫級別靈活觸發(fā)調度

除了日期時間觸發(fā)之外，增加事件觸發(fā)機制，滿足企業(yè)多系統(tǒng)之間交互的需要：

文件觸發(fā)

不同文件接口，根據滿足特殊定義文件自動觸發(fā)

可以設置掃描頻次與超時報警

數據庫觸發(fā)

滿足特殊數據定義之后，自動觸發(fā)任務

Kafka 觸發(fā)

發(fā)現符合定義消息息自動觸發(fā)工作流

專業(yè)的權限設置與 Token 管理滿足企業(yè)級別權限需要

針對企業(yè)設置用戶、角色、權限為不同部門提供不同功能權限：

企業(yè)用戶管理

獨立企業(yè)用戶賬號，可以對接現有企業(yè)用戶

項目角色管理

管理員角色、不同項目開發(fā)人員角色功能分開

結合項目角色控制資源權限

Token 管理可以幫助企業(yè)設定 API 調用權限

詳細的審計日志滿足企業(yè)回溯用戶行為審計功能

審計日志記錄用戶詳細操作對象以及時間：

審計日志詳細記錄用戶的操作行為

可以設置日志保留時間

支持Excel導出以及用戶操作查詢

高可擴展能力支持組件擴展

系統(tǒng)高可靠、易擴展

滿足定制化需求，比如打通用戶權限系統(tǒng)、和其他業(yè)務系統(tǒng)對接，擴展新的任務組件、數據源組件、告警組件，并支持對接客戶自定義開發(fā)的血緣分析功能等。

支持信創(chuàng)環(huán)境

白鯨調度系統(tǒng) 在信創(chuàng)合規(guī)部署支持方面做到了完全的國產化：

支持國產服務器，國產 CPU、內存、主板、硬盤等，如鯤鵬服務器。

支持國產操作系統(tǒng)，如中標麒麟、銀河麒麟、紅旗 Linux。

支持國產數據庫，如 達夢數據庫、GaussDB、TiDB。

支持對系統(tǒng)部署所涉及到的服務器、操作系統(tǒng)、中間件、數據庫進行信創(chuàng)化改造，滿足信創(chuàng)環(huán)境下系統(tǒng)遷移和原有任務調度的需求。

統(tǒng)一監(jiān)控告警、運維

實現統(tǒng)一的監(jiān)控和運維是客戶統(tǒng)一調度最重要的目標之一，白鯨調度系統(tǒng) 可以提供統(tǒng)一監(jiān)控告警，統(tǒng)一監(jiān)控指標，提供豐富的API接口，滿足用戶定制化監(jiān)控需求；統(tǒng)一監(jiān)控告警平臺、運維平臺，極大減少維護成本；多種監(jiān)控指標，根據權限智能統(tǒng)計指標，滿足不同角色的監(jiān)控需求；統(tǒng)一告警服務，提供豐富的告警插件，支持多種告警方式同時發(fā)送；集中監(jiān)控工作流、任務運行情況和批量操作，統(tǒng)一管理告警列表、事件列表等。

客戶收益

當前，該企業(yè)基于白鯨調度系統(tǒng)搭建了統(tǒng)一調度平臺，助力管理后臺實現了：

為客戶提供了統(tǒng)一調度平臺，提高了數據處理效率，支撐了客戶的技術部產銷、投資、風險評估、運營投資各個團隊的業(yè)務，后續(xù)將接入更多業(yè)務；

降低了運維難度，降低非技術人員門檻

提高交付效率

快速調度

靈活的數據分析

客戶簡介

國內某頭部理財服務提供商，為投資者提供了豐富的投資產品，為客戶創(chuàng)造了豐厚的投資回報。

關鍵詞：