“宇宙之大，粒子之微，火箭之速，化工之巧，地球之變，生物之謎，日用之繁，無處不用到數(shù)學”

                                                                                                                                             ----華羅庚

　　2012年，一本由吳軍博士編著的《數(shù)學之美》暢銷中國，書中將高深的數(shù)學原理講得更加通俗易懂，讓非專業(yè)讀者也能領略數(shù)學的魅力。吳軍博士在書中提到知名的計算機科學家Randy Katz發(fā)明了RAID(計算機獨立磁盤冗余陣列)系統(tǒng)，而正是RAID技術奠定了商用存儲系統(tǒng)高性能高可靠的根基。RAID的核心思想就是使用EC(Erasure Code)糾錯碼來靈活地配置數(shù)據(jù)冗余度，在保持存儲系統(tǒng)高性能高可靠的基礎上，提供比多副本技術更優(yōu)的存儲利用率。

　　　　一.Erasure Code和Reed-SolomonCodes：

　　隨著云計算領域的發(fā)展，云端算力成指數(shù)型增長，5G和AI應用的崛起，海量的數(shù)據(jù)上云已經是不可逆的趨勢，而云存儲系統(tǒng)所管理的數(shù)據(jù)已經從傳統(tǒng)企業(yè)存儲TB級邁向了EB級(1EB = 1 000 000 TB)，在云存儲發(fā)展初期，受限于技術能力，各云存儲廠商主要沿用多副本機制(通常是3副本)，導致云存儲系統(tǒng)的空間利用率只有33%，數(shù)據(jù)存儲成本高居不下，而后業(yè)界通常采用EC方式來降低成本。

　　傳統(tǒng)的的EC(Erasure Code) 糾錯碼使用的是里德-所羅門碼(Reed-Solomon Codes，簡稱RS Codes),其在云存儲系統(tǒng)中應用方式為：

　　把云存儲(主要是公有云對象存儲系統(tǒng))的所有存儲單元(單硬盤或存儲節(jié)點)視為一個Erasure Code存儲池，可以將對象按照N+M的方式存儲(N為對象的數(shù)據(jù)分片，M為校驗片)，它將對象切分成N個數(shù)據(jù)片，M個校驗片。以6+3的EC為例，空間利用率可以達到67%,更大比例的N+M將會具有更高的空間利用率，在成本上非常具有競爭力，同時，系統(tǒng)的吞吐量較3副本(或多副本)有較大的提升。因此，EC技術在云存儲領域得到大規(guī)模的應用。

　　但是傳統(tǒng)的EC機制在公有云場景下，面臨著以下諸多問題：

　　1、在對象大小不確定的場景下，需進行補零和填充計算，浪費存儲空間，成本較高。

　　2、如不補零, 需進行多次覆蓋寫以保證EC成員組的原子性。會導致系統(tǒng)復雜度提升，吞吐量降低，需配置更快的CPU和更大的網(wǎng)絡帶寬，存儲成本增加。

　　3、此外,還有一種增加Cache-Tier的方式以避免EC時單元不滿的問題：先以3副本的形式寫入高性能的SSD Tier，湊滿EC單元后再進行計算和搬移至HDD Tier。這種off-line的EC方式，其缺點有：

　　a)額外的SSDTier，成本高;

　　b)持續(xù)寫入對SSD可靠性的挑戰(zhàn);

　　c)數(shù)據(jù)搬移消耗大量內部帶寬。

　　4、傳統(tǒng)的EC在大比例N+M(如20+3)下，如果出現(xiàn)節(jié)點/介質故障，就需要讀取大量數(shù)據(jù)片和校驗片進行數(shù)據(jù)重構，會導致系統(tǒng)性能陡降。

　　基于以上，我們可以知道，衡量一個使用EC的數(shù)據(jù)存儲系統(tǒng)的優(yōu)劣可以通過以下幾個維度來綜合考慮：

　　1、高效的空間利用率：一個系統(tǒng)能夠穩(wěn)定地提供多少空間利用率，在給定的N+M，空間利用率恒定。

　　2、高效的寫入性能：無論業(yè)務層如何變化，對象的大小如何變化，應該有恒定的寫入帶寬、IOPS等。

　　3、高效的重構性能：盡可能少的系統(tǒng)重構IO帶寬，盡可能少的占用跨AZ/DC的網(wǎng)絡帶寬。

　　二.華為云“On-line Streaming Erasure Coding”和“Flex Erasure Coding”:

　　華為云OBS服務通過創(chuàng)新的“On-line Streaming Erasure Coding”和” Flex Erasure Coding”提供on-line的Erasure Coding存儲機制，在公有云對象存儲系統(tǒng)中解決了上述的幾個關鍵問題。

　　1、On-line Streaming Erasure Coding

　　如下圖所示，整系統(tǒng)的核心部件是Streaming ErasureCoding Unit, 多個對象的數(shù)據(jù)可以流入處理單元，由其進行encoding操作。通過多個對象數(shù)據(jù)的combine，可以消除對象不滿時，數(shù)據(jù)寫入補零計算浪費的空間。

　　此過程不需要復雜低效的分布式事務，也不需要讀取已經寫入的數(shù)據(jù)。通過這個Streaming ErasureCoding Unit，提供on-line的EC機制，避免內部的數(shù)據(jù)搬遷動作。

　　2、Flex Erasure Coding算法：

　　華為云通過應用全新的Flex Erasure Coding編解碼算法，在保持數(shù)據(jù)重構效率的基礎上，重構帶寬需求大幅度降低，極大地提升了故障時數(shù)據(jù)重構性能，有效地縮短了重構用時，保證數(shù)據(jù)的持久度和系統(tǒng)吞吐量。

　　通過上面2個自研算法，華為云OBS單流帶寬達到業(yè)界友商的3~5倍，超過300MB/S，超千萬并發(fā)鏈接能力，并且在高業(yè)務負荷下仍然保持穩(wěn)定低時延，整體性能和空間利用率相比多副本或傳統(tǒng)EC技術大幅提升：

　　在大數(shù)據(jù)應用場景，由于寫放大極具減少，單流帶寬大幅提升，大數(shù)據(jù)對象case下性能倍數(shù)提升，用戶能更快地獲取數(shù)據(jù)分析結果。

　　在IOT場景，海量的IOT設備都需要實時向云端進行數(shù)據(jù)傳輸，而OBS超千萬的并發(fā)能力，能支撐數(shù)億IOT設備的連接訪問。

　　在視頻應用(視頻監(jiān)控，直播和點播)場景，華為云OBS的穩(wěn)定低時延支撐高畫質視頻快速播放且無卡頓。

　　在更多的應用場景中，華為云OBS 用同樣出色的表現(xiàn)證明：數(shù)學算法的優(yōu)化能讓軟件產品能力再次領先業(yè)界一個時代。

　　　三.軟件的靈魂是算法，算法的硬核是數(shù)學

　　“我認為用物理方法來解決問題已趨近飽和，要重視數(shù)學方法的突起。”——任正非

　　正是由于華為在數(shù)學領域長期持續(xù)的投入，讓其在云+AI+5G時代的產品具有領先的競爭力。

　　早在1999年，華為就在俄羅斯成立了專門的算法研究所，基于俄羅斯科學家的數(shù)學能力，連續(xù)突破了3G/4G移動網(wǎng)絡技術特殊瓶頸，使華為成為全球4G移動網(wǎng)絡設備的領導者。而在2016年，華為再次宣布在法國設立歐洲第二個數(shù)學研究所，繼續(xù)加強基礎科學研究。

　　除了在俄羅斯和法國建立的數(shù)學研究所，華為還積極參與并投資包括中國在內的全球數(shù)學家的科研項目，積極推動數(shù)學研究和數(shù)學成果在產業(yè)的落地。在華為的長期支持下，Erdal Arikan教授在Polar碼上取得了多項突破，最終成為5G控制信道編碼標準，推動了通信技術的發(fā)展。

　　而正是基于數(shù)學和其他基礎科學研究成果在芯片設計、集成電路開發(fā)、軟件算法和質量管理等方面的應用，華為才能成為ICT行業(yè)的長跑選手，并且能在外部環(huán)境風云變幻的當下，保持著持續(xù)前行的動力。

　　華為曾在其官方媒體上發(fā)表了《基礎研究與基礎教育是產業(yè)誕生和振興的根本》(鏈接)的文章，以官宣的方式闡述了基礎研究特別是數(shù)學研究對產業(yè)發(fā)展的貢獻，更是提出了“數(shù)學是開啟一切的工具”的論斷。

　　數(shù)學，是華為繼續(xù)前行指路燈，也是華為云真正的“硬核”實力。