騰訊云賀永紅：混合云存儲為大數(shù)據(jù)應用提供更強便利性

企業(yè)數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)價值被顯著放大，大數(shù)據(jù)應用成為不少企業(yè)探索的重點。

從技術(shù)上看，大數(shù)據(jù)業(yè)務由于數(shù)據(jù)體量大，且數(shù)據(jù)量很多時候呈急速膨脹狀態(tài)；在進行大數(shù)據(jù)計算分析時，對資源的需求呈現(xiàn)浪涌式特征，又偶有突發(fā)性，因此通過上云充分發(fā)揮資源按需使用按需付費的優(yōu)勢，成為了不少企業(yè)在探索大數(shù)據(jù)應用時的常見模式。

這其中，企業(yè)在綜合考量數(shù)據(jù)安全性、可擴展、可管理和成本效益等因素后，混合云部署的方式就成為了企業(yè)的主流選擇。

近日，騰訊云存儲高級產(chǎn)品經(jīng)理賀永紅在混合云主題論壇上發(fā)表演講，詳解了大數(shù)據(jù)應用上云的新思路。

一、企業(yè)自建大數(shù)據(jù)的難點

企業(yè)數(shù)據(jù)中心自建大數(shù)據(jù)業(yè)務，一般會遇到擴容的問題，隨著大數(shù)據(jù)分析在業(yè)務價值挖掘上的作用愈加重要，新增及突發(fā)的分析任務越來越多，此時，趨于飽和使用率的硬件資源便會成為瓶頸，從提交預算申領設備到新設備加入分析集群通常需要較長時間(有時會超過一個月)，這樣會也導致大數(shù)據(jù)計算結(jié)果延期交付。隨著時間推移，大數(shù)據(jù)中存儲的數(shù)據(jù)越來越多，如何降低數(shù)據(jù)的存儲成本，在需要的時候又能快速分析。

二、大數(shù)據(jù)混合云存儲之道

大數(shù)據(jù)混合云存儲將IDC大數(shù)據(jù)和公有云大數(shù)據(jù)連接為混合云，通過存算分離(計算與存儲分離)，實現(xiàn)計算彈性伸縮；通過數(shù)據(jù)全生命周期自動沉降實現(xiàn)存儲低成本。

三、大數(shù)據(jù)混合云存儲中的關(guān)鍵技術(shù)

1.存算分離

存算分離，計算與存儲分離，計算基于標準HDFS協(xié)議訪問存儲，計算資源和存儲資源各自按需擴容；計算資源可以分鐘級按需創(chuàng)建及銷毀，數(shù)據(jù)存儲在COS(Cloud Object Storage)「https://cloud.tencent.com/product/cos」統(tǒng)一存儲層，集中存儲、統(tǒng)一管理。

存算分離，讓數(shù)據(jù)存儲在云中對象存儲COS上，計算集群直接分析COS中的數(shù)據(jù)，計算資源專注于計算，按需實現(xiàn)彈性伸縮，按需創(chuàng)建及銷毀，不用維持冗余設備來保存數(shù)據(jù)；通過計算與存儲分離，實現(xiàn)計算彈性伸縮，按需創(chuàng)建及銷毀，可以節(jié)約大數(shù)據(jù)20-30%的成本。

2.高效存儲

存儲資源COS(Cloud Object Storage)海量、無容量上限、無需擴容、按需供給，高效、平滑接入大數(shù)據(jù)生態(tài)、按需使用付費、通過生命周期策略自動沉降極致降低成本。

COS中存儲類型分為標準存儲、低頻存儲和歸檔存儲，通過配置數(shù)據(jù)全生命周期策略實現(xiàn)自動沉降：經(jīng)常訪問的數(shù)據(jù)放在標準存儲，較少訪問的數(shù)據(jù)放在低頻存儲，基本不訪問的數(shù)據(jù)放在歸檔存儲，以上三種存儲類型，價格不同，例如歸檔存儲刊例價就不到標準存儲刊例價的1/3，數(shù)據(jù)自動沉降后成本節(jié)約20-30%。數(shù)據(jù)沉降歸檔后，能及時回熱，需要用的時候能及時被計算集群訪問。

3.統(tǒng)一管理

云上云下的統(tǒng)一管理，一致使用體驗；在數(shù)據(jù)面云上COS與IDC中HDFS統(tǒng)一元數(shù)據(jù)管理，實現(xiàn)全量數(shù)據(jù)ETL(抽取、轉(zhuǎn)換、裝載)。在技術(shù)面，云上和云下均采用大數(shù)據(jù)開源組件，接入大數(shù)據(jù)開源生態(tài)，保持一致使用體驗。

4.數(shù)據(jù)高效流動

云下與云上的數(shù)據(jù)流動，這里主要包括兩種數(shù)據(jù)流動。

其一、數(shù)據(jù)在IDC與云上COS間快速水平流動；用戶每天可往云上COS灌入200TB+數(shù)據(jù)，基于COS海量并發(fā)設計，可進一步加粗上傳管道，加速數(shù)據(jù)上云。數(shù)據(jù)下云，一般是結(jié)算結(jié)果返回到用戶IDC，這部分數(shù)據(jù)量比較小，是從海量沙子里掏出的金子，不存在技術(shù)挑戰(zhàn)。

其二、數(shù)據(jù)在EMR「https://cloud.tencent.com/product/emr」計算與COS存儲間快速垂直流動，在EMR進行大數(shù)據(jù)計算時，需要在瞬間從COS中讀取大量數(shù)據(jù)到EMR中進行計算，關(guān)鍵技術(shù)是COS的高性能，來滿足數(shù)據(jù)的快速讀寫。

四、騰訊云大數(shù)據(jù)混合云存儲實踐

騰訊云大數(shù)據(jù)混合云存儲方案，經(jīng)歷騰訊內(nèi)部業(yè)務(微信、QQ、騰訊視頻等)長期打磨而沉淀下來。

騰訊云大數(shù)據(jù)混合云存儲，包括三層：混合大數(shù)據(jù)引擎、任務統(tǒng)一編排、數(shù)據(jù)開發(fā)平臺：數(shù)據(jù)開發(fā)平臺實現(xiàn)數(shù)據(jù)價值開發(fā)，包括用戶畫像、廣告推薦等；任務統(tǒng)一編排實現(xiàn)大數(shù)據(jù)任務在IDC及云中全局調(diào)度及計算彈性伸縮；混合大數(shù)據(jù)引擎對IDC及云中大數(shù)據(jù)進行管理。

某頭部游戲直播公司，大數(shù)據(jù)體量大，很早就成立了近百人的專業(yè)大數(shù)據(jù)團隊，以支撐近百P規(guī)模的離線、實時流式數(shù)據(jù)的高效存儲計算及數(shù)據(jù)科學探索。

其大數(shù)據(jù)架構(gòu)如圖，左邊本地IDC，右邊騰訊云EMR ON COS，通過專線打通，數(shù)據(jù)互通，優(yōu)先上傳分析用到的數(shù)據(jù)，將數(shù)據(jù)導入到騰訊云COS中；基于存算分離，通過騰訊云EMR產(chǎn)品創(chuàng)建的Hadoop集群分析已導入到COS中數(shù)據(jù)。分析任務結(jié)束后，銷毀EMR集群，不再產(chǎn)生費用，COS數(shù)據(jù)自動沉降進一步降低成本。

五、結(jié)語

騰訊云大數(shù)據(jù)混合云，能夠?qū)崿F(xiàn)大數(shù)據(jù)業(yè)務平滑上云，并實現(xiàn)對已有IDC硬件資源的合理利用，實現(xiàn)業(yè)務彈性伸縮，實現(xiàn)存儲資源和計算資源的高效利用。

未來，騰訊云存儲還將以業(yè)務場景為指引，推出更多高效的云存儲方案，并結(jié)合生態(tài)資源，為用戶提供更好的云上存儲服務。