金融行業統一監控之運維數據治理
數智時代,數據是金融機構經營的核心資產和最重要戰略資源,也是不可或缺的生產要素。只有更好的管理、分析業務/IT系統產生的各種數據,才能從中洞察更大的業務價值,持續優化用戶體驗,而運維數據治理就是挖掘數據價值的基礎和重要手段。
亟需運維數據治理
復雜的業務系統,海量的IT/業務數據,以及新架構、新技術的廣泛應用,運維管理面臨更大挑戰。
第一,缺少統一的告警中心:各種監控系統相互獨立沒有關聯,告警事件內容不同、運維人員也不同,無法快速判斷故障根源,因多個監控系統的告警事件擾亂對故障問題的正確快速定位。
第二,缺少統一的監控中心:監控對象的邏輯拓撲或物理拓撲沒有關聯起來,當問題發生時,需要在不同層面的監控工具中排查,問題的快速發現、快速定位、快速解決帶來了諸多不確定性,從而影響到用戶體驗和SLA。
第三,缺少統一的評價體系:監控對象都有獨立的評價標準,而這些標準缺少統一性,導致運維人員沒有指標體系的參考依據,缺少對系統整體運行健康度進行管控,同時無法制定出統一的故障預警管理策略。
運維數據治理的原則
第一,統一數據維度:不同監控系統的告警信息進行有效的關聯、收斂、壓縮,統一定義告警和事件級別,以及對應的處理(通知)流程;打通運維工具間的數據孤島,將全部運維監控工具產生(采集)的數據進行統一的處理和存儲。確保每個業務系統的每個監控指標都有唯一的、定義明確的數據來源。
第二,提升數據質量:不同監控系統的數據源進行數據標準的重定義,依據國家、業界或者監管機構的標準,再結合自身的實際情況對數據進行規范化處理;一般包括格式、編碼規則、字典值等,將處理后的多源異構的運維數據進行統一的存儲與關聯分析,從而提升運維數據的質量。
第三,確保數據實效性:運維數據往往存在大量的重復和冗余,同一個事件可能導致大量重復的指標、告警、日志等。通過過濾、降噪和聚合,把具備歷史分析價值的數據流轉到數據湖中進行分析,這不僅會節省時間,而且也能夠節省冗余數據的存儲和計算成本。
運維數據治理的目標
通過建設一體化的統一監控平臺,可以幫助IT部門實現運維數據的三個統一:
第一,統一標準:實現運維數據處理規范中對數據采集、處理、存儲、展現的標準統一;實現運維事件和告警處理流程規范中對事件級別定義,處理流程定義、通知內容定義的標準統一;實現監控指標定義中的SLO(服務等級目標)指標選取。
第二,統一數據:元數據管理可以清晰展現數據從哪來,屬于誰,讓運維人員或者系統能夠更好地理解所獲取的數據,同時通過統一的存儲與關聯分析將多源異構數據徹底打通。
第三,統一服務:用戶通過統一的服務接口(GUI/API)消費運維數據和功能。主要包括:數據呈現(大屏和儀表板)服務、數據分析服務(數據建模和查詢)、監控指標異常檢測服務、監控告警通知訂閱服務等。
運維數據治理解決方案
云智慧運維數據治理解決方案支持PB級、多種數據的采集、分析、存儲和管理,包括海量結構化數據、半結構化數據和非結構化數據,且具備線性的橫向擴展能力。
運維數據的統一采集
通過并行多任務采集,提高數據采集效率及準確性,支持各類數據源(日志、監控、業務、配置等)的配置信息錄入、查看、修改,并提供各類數據源的數據樣例展示。支持HTTP、Kafka、API、日志、文本、數據庫、自定義等多種方式數據接入,數據采集接口程序規范統一,同時具備監控接口采集效率、統計采集數據量的能力。
運維數據的統一處理
高效數據處理機制:采用高性能混合存儲模式,非實時數據存儲全量數據,實時數據在全量數據的基礎上實現增量存儲,相對于其它傳統的數據存儲查詢方式,存儲效率提高300倍。
可視化數據處理過程:數據處理提供圖形化操作界面,實現自助式數據分析與挖掘算法模型創建。整個數據處理過程,支持通過Web界面進行編輯,無需編輯程序代碼或Shell腳本,即可完成數據處理的復雜操作。
數據集成與ETL:提供數據集成實施和服務功能,從ETL 數據導入到SQL查詢以及全文檢索的一站式圖形化工作流,支持分布式的海量日志采集、聚合和傳輸。
運維數據的統一存儲
基于幾個核心場景:數據治理、數據集市、數據分析、數據應用等,持多種存儲介質和計算模型,同時具備可靠性、可用性、一致性、伸縮性。
1、監控數據存儲:時序數據庫(ClickHouse、InfluxDB)
2、日志數據存儲:Elasticsearch、Hadoop/Hbase
3、分析報表數據存儲:MySQL等關系型數據庫
4、告警事件數據存儲:Redis數據庫
運維數據的統一服務
運維數據可以進行按需消費,根據運營和運維的需求,快速敏捷的創建面向特定場景的數據應用,充分釋放數據的價值。匯總數據、整合指標體系、制定相應標準,通過PC端、移動端、ECC大屏、Dashboard,數據展示業務健康、IT資源健康、用戶體驗、安全態勢以及問題事件等應用服務。
價值與展望
云智慧運維數據治理解決方案構建了一套完整的IT與業務系統的評價體系,為提高運維效率、優化用戶體驗、改進服務流程、資產管理、運營決策等方面提供了強有力的支撐。運維數據治理不可一蹴而就,從業務發展、數據治理意識形成、數據治理體系運行、人員組織等需要一個長效機制來進行保障,這樣才能讓數據資產可以發揮更大的作用。
- 6-9· 國家金融監督管理總局等八部門聯合印發《支持小微企業融資的若干措施》
- 6-2· 以金融活水資潤創新之花 蘇州工業園區推出一體化服務平臺
- 5-16· 安徽:金融政策為科創企業送來“及時雨”
- 5-2· 上海金融業多舉措助力企業復工復產
- 1-27· 廣東金融業增加值首破萬億 新增境內上市公司92家
- 1-10· 重慶:金融活水精準滴灌 激發中小企業活力
- 12-27· 金融支持鄉村振興 廣東有了“施工圖”
- 8-30· 聚焦行業數字化建設 BCS2021工業互聯網安全論壇在京召開
- 7-22· 金融轉型數據先行,華為用科技加速業務交易
- 7-22· 金融級數據庫容災技術報告發布,為金融數據安全保駕護航