數智時代，數據是金融機構經營的核心資產和最重要戰略資源，也是不可或缺的生產要素。只有更好的管理、分析業務/IT系統產生的各種數據，才能從中洞察更大的業務價值，持續優化用戶體驗，而運維數據治理就是挖掘數據價值的基礎和重要手段。

　　亟需運維數據治理

　　復雜的業務系統，海量的IT/業務數據，以及新架構、新技術的廣泛應用，運維管理面臨更大挑戰。

　　第一，缺少統一的告警中心：各種監控系統相互獨立沒有關聯，告警事件內容不同、運維人員也不同，無法快速判斷故障根源，因多個監控系統的告警事件擾亂對故障問題的正確快速定位。

　　第二，缺少統一的監控中心：監控對象的邏輯拓撲或物理拓撲沒有關聯起來，當問題發生時，需要在不同層面的監控工具中排查，問題的快速發現、快速定位、快速解決帶來了諸多不確定性，從而影響到用戶體驗和SLA。

　　第三，缺少統一的評價體系：監控對象都有獨立的評價標準，而這些標準缺少統一性，導致運維人員沒有指標體系的參考依據，缺少對系統整體運行健康度進行管控，同時無法制定出統一的故障預警管理策略。

　　運維數據治理的原則

　　第一，統一數據維度：不同監控系統的告警信息進行有效的關聯、收斂、壓縮，統一定義告警和事件級別，以及對應的處理(通知)流程;打通運維工具間的數據孤島，將全部運維監控工具產生(采集)的數據進行統一的處理和存儲。確保每個業務系統的每個監控指標都有唯一的、定義明確的數據來源。

　　第二，提升數據質量：不同監控系統的數據源進行數據標準的重定義，依據國家、業界或者監管機構的標準，再結合自身的實際情況對數據進行規范化處理;一般包括格式、編碼規則、字典值等，將處理后的多源異構的運維數據進行統一的存儲與關聯分析，從而提升運維數據的質量。

　　第三，確保數據實效性：運維數據往往存在大量的重復和冗余，同一個事件可能導致大量重復的指標、告警、日志等。通過過濾、降噪和聚合，把具備歷史分析價值的數據流轉到數據湖中進行分析，這不僅會節省時間，而且也能夠節省冗余數據的存儲和計算成本。

　　運維數據治理的目標

　　通過建設一體化的統一監控平臺，可以幫助IT部門實現運維數據的三個統一：

　　第一，統一標準：實現運維數據處理規范中對數據采集、處理、存儲、展現的標準統一;實現運維事件和告警處理流程規范中對事件級別定義，處理流程定義、通知內容定義的標準統一;實現監控指標定義中的SLO(服務等級目標)指標選取。

　　第二，統一數據：元數據管理可以清晰展現數據從哪來，屬于誰，讓運維人員或者系統能夠更好地理解所獲取的數據，同時通過統一的存儲與關聯分析將多源異構數據徹底打通。

　　第三，統一服務：用戶通過統一的服務接口(GUI/API)消費運維數據和功能。主要包括：數據呈現(大屏和儀表板)服務、數據分析服務(數據建模和查詢)、監控指標異常檢測服務、監控告警通知訂閱服務等。

　　運維數據治理解決方案

　　云智慧運維數據治理解決方案支持PB級、多種數據的采集、分析、存儲和管理，包括海量結構化數據、半結構化數據和非結構化數據，且具備線性的橫向擴展能力。

　　運維數據的統一采集

　　通過并行多任務采集，提高數據采集效率及準確性，支持各類數據源(日志、監控、業務、配置等)的配置信息錄入、查看、修改，并提供各類數據源的數據樣例展示。支持HTTP、Kafka、API、日志、文本、數據庫、自定義等多種方式數據接入，數據采集接口程序規范統一，同時具備監控接口采集效率、統計采集數據量的能力。

　　運維數據的統一處理

　　高效數據處理機制：采用高性能混合存儲模式，非實時數據存儲全量數據，實時數據在全量數據的基礎上實現增量存儲，相對于其它傳統的數據存儲查詢方式，存儲效率提高300倍。

　　可視化數據處理過程：數據處理提供圖形化操作界面，實現自助式數據分析與挖掘算法模型創建。整個數據處理過程，支持通過Web界面進行編輯，無需編輯程序代碼或Shell腳本，即可完成數據處理的復雜操作。

　　數據集成與ETL：提供數據集成實施和服務功能，從ETL 數據導入到SQL查詢以及全文檢索的一站式圖形化工作流，支持分布式的海量日志采集、聚合和傳輸。

　　運維數據的統一存儲

　　基于幾個核心場景：數據治理、數據集市、數據分析、數據應用等，持多種存儲介質和計算模型，同時具備可靠性、可用性、一致性、伸縮性。

　　1、監控數據存儲：時序數據庫(ClickHouse、InfluxDB)

　　2、日志數據存儲：Elasticsearch、Hadoop/Hbase

　　3、分析報表數據存儲：MySQL等關系型數據庫

　　4、告警事件數據存儲：Redis數據庫

　　運維數據的統一服務

　　運維數據可以進行按需消費，根據運營和運維的需求，快速敏捷的創建面向特定場景的數據應用，充分釋放數據的價值。匯總數據、整合指標體系、制定相應標準，通過PC端、移動端、ECC大屏、Dashboard，數據展示業務健康、IT資源健康、用戶體驗、安全態勢以及問題事件等應用服務。

　　價值與展望

　　云智慧運維數據治理解決方案構建了一套完整的IT與業務系統的評價體系，為提高運維效率、優化用戶體驗、改進服務流程、資產管理、運營決策等方面提供了強有力的支撐。運維數據治理不可一蹴而就，從業務發展、數據治理意識形成、數據治理體系運行、人員組織等需要一個長效機制來進行保障，這樣才能讓數據資產可以發揮更大的作用。