華為云 BigDataPro 大數(shù)據(jù)離線分析解決方案

在數(shù)字化轉型過程中，如何激活數(shù)據(jù)要素潛力，推動網(wǎng)絡強國建設，加速構建數(shù)字經濟、數(shù)字社會、數(shù)字政府，推動整個生產方式、生活方式和治理方式的變革，是數(shù)字中國面臨的最大挑戰(zhàn)。而且，推進數(shù)據(jù)要素價值轉換當然離不開云原生數(shù)據(jù)基礎設施的支持。其中，以存算分離、支持多協(xié)議彈性文件存儲、高效的數(shù)據(jù)計算技術為代表，新技術的應用將幫助不同行業(yè)的企業(yè)用戶最大程度地釋放數(shù)據(jù)價值。

存儲分離釋放無限數(shù)。

大數(shù)據(jù)技術最初以計算機和存儲包的形式出現(xiàn)，強調數(shù)據(jù)接近計算，以HDFS+MapReduce數(shù)據(jù)管理方式為核心的技術，目前，大數(shù)據(jù)技術有了進一步的發(fā)布，計算機、存儲包和存儲包向存算分離設計方向發(fā)展，使得Hive,HBase等大數(shù)據(jù)應用迎來新的發(fā)展機遇。

結合華為云BigDataPro大數(shù)據(jù)離線分析解決方案，獨立擴展存儲，從而減少了不必要的資源浪費。華為云BigDataPro通過對存儲進行擴展，消除了對保留容量的浪費，多種協(xié)議支持也減少了數(shù)據(jù)重復重復現(xiàn)象。獨立的存算、分布式存儲跨可用區(qū)容災，使數(shù)據(jù)的持久性提高到12個9，數(shù)據(jù)的可靠性更加可靠。

這一完全相反的變化，從數(shù)據(jù)接近計算到今天的存算分離，難道大家也會覺得奇怪嗎？故事情節(jié)“顛倒”的主要原因是什么？

抑或，存算分離是否仍能滿足接近數(shù)據(jù)計算的需求？

因此，我還向華為咨詢了云計算存儲服務總經理崔林威。

樸茨茅斯表示：存算分離仍能滿足類似近數(shù)據(jù)計算的需要，其中最大的原因就是網(wǎng)絡技術的飛速發(fā)展，這為存算分離奠定了基礎。不管是接近數(shù)據(jù)的計算，或者存算分離都不會改變上層HDFS+MapReduce的結構。華為云BigDataPro相較于傳統(tǒng)方式，在存儲隔離的基礎上，提供了多協(xié)議互通、高可靠性等優(yōu)點。

突破傳統(tǒng)協(xié)議限制的多彈性文件存儲器。

SFS(ScalableFileService)是一個彈性的文件服務，它不僅能提供大數(shù)據(jù)、文件接口、如為云中MRS,DLI等數(shù)據(jù)分析服務提供存儲服務，通過NFS/CIFS協(xié)議或POSIX客戶機部署在云中的視頻編輯、基因分析、儲層模擬、提供數(shù)據(jù)設計模擬等軟件。

「可將資料解讀為一瓶礦泉水，跨協(xié)議查訪亦可理解數(shù)數(shù)。」崔林威說。

SFS是國內第一家支持NFS/CIFS/對象/大數(shù)據(jù)等多協(xié)議接口的存儲服務。它是一個高性能文件存儲(NAS)，用于基因分析、視頻制作/繪制、地球物理、文件共享、業(yè)務場景，如內容和Web服務，提供共享的數(shù)據(jù)訪問存儲服務。SFS突破了傳統(tǒng)NAS只有私有數(shù)據(jù)存儲協(xié)議的限制。

舉例來說，在視頻制作/渲染場景中，華為云和MangTV正在探索一種成本更低、更具實用性的播放計劃，以創(chuàng)建業(yè)界第一個基于云服務的4K綜藝節(jié)目——“MangoTV”。

由于SFS混合云解決方案可以兼容對象接口特性，通過對象存儲直接將攝像視頻上傳到華為云，在云上通過文件接口對視頻進行轉碼、合成、調色、等一系列處理后，直接通過對象存儲器播放。與自行構建IT系統(tǒng)相比，節(jié)目制作時間減少了50%，按需付費云資源可以節(jié)約90%的初期投資。身為電視觀眾的她，能看到妹妹們清晰的服裝細節(jié)和每一條睫毛，讓影片的質感得以在對周期要求高、成本控制嚴格的綜藝節(jié)目中呈現(xiàn)。