數(shù)智時代，數(shù)據(jù)是金融機(jī)構(gòu)經(jīng)營的核心資產(chǎn)和最重要戰(zhàn)略資源，也是不可或缺的生產(chǎn)要素。只有更好的管理、分析業(yè)務(wù)/IT系統(tǒng)產(chǎn)生的各種數(shù)據(jù)，才能從中洞察更大的業(yè)務(wù)價值，持續(xù)優(yōu)化用戶體驗(yàn)，而運(yùn)維數(shù)據(jù)治理就是挖掘數(shù)據(jù)價值的基礎(chǔ)和重要手段。

　　亟需運(yùn)維數(shù)據(jù)治理

　　復(fù)雜的業(yè)務(wù)系統(tǒng)，海量的IT/業(yè)務(wù)數(shù)據(jù)，以及新架構(gòu)、新技術(shù)的廣泛應(yīng)用，運(yùn)維管理面臨更大挑戰(zhàn)。

　　第一，缺少統(tǒng)一的告警中心：各種監(jiān)控系統(tǒng)相互獨(dú)立沒有關(guān)聯(lián)，告警事件內(nèi)容不同、運(yùn)維人員也不同，無法快速判斷故障根源，因多個監(jiān)控系統(tǒng)的告警事件擾亂對故障問題的正確快速定位。

　　第二，缺少統(tǒng)一的監(jiān)控中心：監(jiān)控對象的邏輯拓?fù)浠蛭锢硗負(fù)錄]有關(guān)聯(lián)起來，當(dāng)問題發(fā)生時，需要在不同層面的監(jiān)控工具中排查，問題的快速發(fā)現(xiàn)、快速定位、快速解決帶來了諸多不確定性，從而影響到用戶體驗(yàn)和SLA。

　　第三，缺少統(tǒng)一的評價體系：監(jiān)控對象都有獨(dú)立的評價標(biāo)準(zhǔn)，而這些標(biāo)準(zhǔn)缺少統(tǒng)一性，導(dǎo)致運(yùn)維人員沒有指標(biāo)體系的參考依據(jù)，缺少對系統(tǒng)整體運(yùn)行健康度進(jìn)行管控，同時無法制定出統(tǒng)一的故障預(yù)警管理策略。

　　運(yùn)維數(shù)據(jù)治理的原則

　　第一，統(tǒng)一數(shù)據(jù)維度：不同監(jiān)控系統(tǒng)的告警信息進(jìn)行有效的關(guān)聯(lián)、收斂、壓縮，統(tǒng)一定義告警和事件級別，以及對應(yīng)的處理(通知)流程;打通運(yùn)維工具間的數(shù)據(jù)孤島，將全部運(yùn)維監(jiān)控工具產(chǎn)生(采集)的數(shù)據(jù)進(jìn)行統(tǒng)一的處理和存儲。確保每個業(yè)務(wù)系統(tǒng)的每個監(jiān)控指標(biāo)都有唯一的、定義明確的數(shù)據(jù)來源。

　　第二，提升數(shù)據(jù)質(zhì)量：不同監(jiān)控系統(tǒng)的數(shù)據(jù)源進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的重定義，依據(jù)國家、業(yè)界或者監(jiān)管機(jī)構(gòu)的標(biāo)準(zhǔn)，再結(jié)合自身的實(shí)際情況對數(shù)據(jù)進(jìn)行規(guī)范化處理;一般包括格式、編碼規(guī)則、字典值等，將處理后的多源異構(gòu)的運(yùn)維數(shù)據(jù)進(jìn)行統(tǒng)一的存儲與關(guān)聯(lián)分析，從而提升運(yùn)維數(shù)據(jù)的質(zhì)量。

　　第三，確保數(shù)據(jù)實(shí)效性：運(yùn)維數(shù)據(jù)往往存在大量的重復(fù)和冗余，同一個事件可能導(dǎo)致大量重復(fù)的指標(biāo)、告警、日志等。通過過濾、降噪和聚合，把具備歷史分析價值的數(shù)據(jù)流轉(zhuǎn)到數(shù)據(jù)湖中進(jìn)行分析，這不僅會節(jié)省時間，而且也能夠節(jié)省冗余數(shù)據(jù)的存儲和計(jì)算成本。

　　運(yùn)維數(shù)據(jù)治理的目標(biāo)

　　通過建設(shè)一體化的統(tǒng)一監(jiān)控平臺，可以幫助IT部門實(shí)現(xiàn)運(yùn)維數(shù)據(jù)的三個統(tǒng)一：

　　第一，統(tǒng)一標(biāo)準(zhǔn)：實(shí)現(xiàn)運(yùn)維數(shù)據(jù)處理規(guī)范中對數(shù)據(jù)采集、處理、存儲、展現(xiàn)的標(biāo)準(zhǔn)統(tǒng)一;實(shí)現(xiàn)運(yùn)維事件和告警處理流程規(guī)范中對事件級別定義，處理流程定義、通知內(nèi)容定義的標(biāo)準(zhǔn)統(tǒng)一;實(shí)現(xiàn)監(jiān)控指標(biāo)定義中的SLO(服務(wù)等級目標(biāo))指標(biāo)選取。

　　第二，統(tǒng)一數(shù)據(jù)：元數(shù)據(jù)管理可以清晰展現(xiàn)數(shù)據(jù)從哪來，屬于誰，讓運(yùn)維人員或者系統(tǒng)能夠更好地理解所獲取的數(shù)據(jù)，同時通過統(tǒng)一的存儲與關(guān)聯(lián)分析將多源異構(gòu)數(shù)據(jù)徹底打通。

　　第三，統(tǒng)一服務(wù)：用戶通過統(tǒng)一的服務(wù)接口(GUI/API)消費(fèi)運(yùn)維數(shù)據(jù)和功能。主要包括：數(shù)據(jù)呈現(xiàn)(大屏和儀表板)服務(wù)、數(shù)據(jù)分析服務(wù)(數(shù)據(jù)建模和查詢)、監(jiān)控指標(biāo)異常檢測服務(wù)、監(jiān)控告警通知訂閱服務(wù)等。

　　運(yùn)維數(shù)據(jù)治理解決方案

　　云智慧運(yùn)維數(shù)據(jù)治理解決方案支持PB級、多種數(shù)據(jù)的采集、分析、存儲和管理，包括海量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，且具備線性的橫向擴(kuò)展能力。

　　運(yùn)維數(shù)據(jù)的統(tǒng)一采集

　　通過并行多任務(wù)采集，提高數(shù)據(jù)采集效率及準(zhǔn)確性，支持各類數(shù)據(jù)源(日志、監(jiān)控、業(yè)務(wù)、配置等)的配置信息錄入、查看、修改，并提供各類數(shù)據(jù)源的數(shù)據(jù)樣例展示。支持HTTP、Kafka、API、日志、文本、數(shù)據(jù)庫、自定義等多種方式數(shù)據(jù)接入，數(shù)據(jù)采集接口程序規(guī)范統(tǒng)一，同時具備監(jiān)控接口采集效率、統(tǒng)計(jì)采集數(shù)據(jù)量的能力。

　　運(yùn)維數(shù)據(jù)的統(tǒng)一處理

　　高效數(shù)據(jù)處理機(jī)制：采用高性能混合存儲模式，非實(shí)時數(shù)據(jù)存儲全量數(shù)據(jù)，實(shí)時數(shù)據(jù)在全量數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)增量存儲，相對于其它傳統(tǒng)的數(shù)據(jù)存儲查詢方式，存儲效率提高300倍。

　　可視化數(shù)據(jù)處理過程：數(shù)據(jù)處理提供圖形化操作界面，實(shí)現(xiàn)自助式數(shù)據(jù)分析與挖掘算法模型創(chuàng)建。整個數(shù)據(jù)處理過程，支持通過Web界面進(jìn)行編輯，無需編輯程序代碼或Shell腳本，即可完成數(shù)據(jù)處理的復(fù)雜操作。

　　數(shù)據(jù)集成與ETL：提供數(shù)據(jù)集成實(shí)施和服務(wù)功能，從ETL 數(shù)據(jù)導(dǎo)入到SQL查詢以及全文檢索的一站式圖形化工作流，支持分布式的海量日志采集、聚合和傳輸。

　　運(yùn)維數(shù)據(jù)的統(tǒng)一存儲

　　基于幾個核心場景：數(shù)據(jù)治理、數(shù)據(jù)集市、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等，持多種存儲介質(zhì)和計(jì)算模型，同時具備可靠性、可用性、一致性、伸縮性。

　　1、監(jiān)控?cái)?shù)據(jù)存儲：時序數(shù)據(jù)庫(ClickHouse、InfluxDB)

　　2、日志數(shù)據(jù)存儲：Elasticsearch、Hadoop/Hbase

　　3、分析報表數(shù)據(jù)存儲：MySQL等關(guān)系型數(shù)據(jù)庫

　　4、告警事件數(shù)據(jù)存儲：Redis數(shù)據(jù)庫

　　運(yùn)維數(shù)據(jù)的統(tǒng)一服務(wù)

　　運(yùn)維數(shù)據(jù)可以進(jìn)行按需消費(fèi)，根據(jù)運(yùn)營和運(yùn)維的需求，快速敏捷的創(chuàng)建面向特定場景的數(shù)據(jù)應(yīng)用，充分釋放數(shù)據(jù)的價值。匯總數(shù)據(jù)、整合指標(biāo)體系、制定相應(yīng)標(biāo)準(zhǔn)，通過PC端、移動端、ECC大屏、Dashboard，數(shù)據(jù)展示業(yè)務(wù)健康、IT資源健康、用戶體驗(yàn)、安全態(tài)勢以及問題事件等應(yīng)用服務(wù)。

　　價值與展望

　　云智慧運(yùn)維數(shù)據(jù)治理解決方案構(gòu)建了一套完整的IT與業(yè)務(wù)系統(tǒng)的評價體系，為提高運(yùn)維效率、優(yōu)化用戶體驗(yàn)、改進(jìn)服務(wù)流程、資產(chǎn)管理、運(yùn)營決策等方面提供了強(qiáng)有力的支撐。運(yùn)維數(shù)據(jù)治理不可一蹴而就，從業(yè)務(wù)發(fā)展、數(shù)據(jù)治理意識形成、數(shù)據(jù)治理體系運(yùn)行、人員組織等需要一個長效機(jī)制來進(jìn)行保障，這樣才能讓數(shù)據(jù)資產(chǎn)可以發(fā)揮更大的作用。