夯實(shí)數(shù)據(jù)“底座”，AWS完整云存儲(chǔ)陣容吹響“集結(jié)號(hào)”

毋庸置疑，數(shù)據(jù)已經(jīng)成為企業(yè)驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型，持續(xù)釋放業(yè)務(wù)價(jià)值的重要支撐。回顧企業(yè)數(shù)據(jù)的演進(jìn)史，從早期的數(shù)據(jù)報(bào)表，到實(shí)時(shí)互動(dòng)的儀表盤，到數(shù)據(jù)倉(cāng)庫(kù)，到今天的數(shù)據(jù)湖。企業(yè)擁有生產(chǎn)經(jīng)營(yíng)各個(gè)環(huán)節(jié)產(chǎn)生的、產(chǎn)品和服務(wù)相關(guān)環(huán)節(jié)背后隱藏的，以及企業(yè)利益相關(guān)者等方方面面的數(shù)據(jù)。

當(dāng)海量數(shù)據(jù)進(jìn)入數(shù)據(jù)湖，用不同的分析引擎在不同的場(chǎng)景下做分析，利用人工智能和機(jī)器學(xué)習(xí)實(shí)現(xiàn)業(yè)務(wù)洞察，數(shù)據(jù)已然成為企業(yè)基礎(chǔ)設(shè)施的一部分。企業(yè)需要快速升級(jí)數(shù)據(jù)基礎(chǔ)架構(gòu)，利用云、大數(shù)據(jù)分析、人工智能等技術(shù)喚醒數(shù)字化能力，持續(xù)提升生產(chǎn)和工作效率，提升客戶體驗(yàn)，進(jìn)而通過(guò)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)決策。在新冠疫情的背后，我們不難發(fā)現(xiàn)越是數(shù)字化的企業(yè)，面對(duì)突發(fā)事件的響應(yīng)更加快速、更加靈活。

今天的數(shù)據(jù)越來(lái)越多元化，結(jié)構(gòu)化的、非結(jié)構(gòu)化數(shù)據(jù)需要數(shù)據(jù)基礎(chǔ)設(shè)施能夠提供完善的存儲(chǔ)服務(wù)來(lái)承載滿足不同應(yīng)用場(chǎng)景的工作負(fù)載和數(shù)據(jù)。

為了進(jìn)一步夯實(shí)云上數(shù)據(jù)基礎(chǔ)設(shè)施的“底座”，近日，AWS中國(guó)（寧夏）區(qū)域（由西云數(shù)據(jù)運(yùn)營(yíng)）和AWS中國(guó)（北京）區(qū)域（由光環(huán)新網(wǎng)運(yùn)營(yíng)）正式同步上線了兩項(xiàng)全新的文件存儲(chǔ)服務(wù)：Amazon FSx for Windows File Server和Amazon FSx for Lustre，分別為Windows工作負(fù)載提供文件存儲(chǔ)服務(wù)和高性能計(jì)算工作負(fù)載提供文件存儲(chǔ)服務(wù)。

AWS云存儲(chǔ)陣容吹響“集結(jié)號(hào)”

隨著兩項(xiàng)文件存儲(chǔ)服務(wù)的加入，AWS已經(jīng)在中國(guó)區(qū)集齊了云存儲(chǔ)服務(wù)的“全家桶”，正式吹響了AWS完整云存儲(chǔ)陣容的“集結(jié)號(hào)”。

“這兩項(xiàng)服務(wù)的加入為Windows工作負(fù)載和高性能計(jì)算工作負(fù)載上云打開(kāi)了一扇門，意味著客戶在考慮上云的時(shí)候，可以通過(guò)更多的路徑遷移上云，Windows工作負(fù)載和高性能計(jì)算工作負(fù)載，可以非?？斓脑谠贫藬U(kuò)展”，AWS大中華區(qū)產(chǎn)品部總經(jīng)理顧凡說(shuō)。

云存儲(chǔ)是IaaS云基礎(chǔ)設(shè)施的重要支撐，AWS作為全球云計(jì)算市場(chǎng)的領(lǐng)導(dǎo)者，14年前首項(xiàng)云服務(wù)就是從存儲(chǔ)服務(wù)Amazon S3對(duì)象存儲(chǔ)起步的。多年來(lái)，AWS云服務(wù)一直占據(jù)了Gartner云基礎(chǔ)設(shè)施即服務(wù)魔力象限和IDC的IaaS MarketScape等評(píng)估報(bào)告的領(lǐng)導(dǎo)者位置，這與其持續(xù)在云存儲(chǔ)服務(wù)領(lǐng)域的前瞻性和執(zhí)行能力密不可分。

在總結(jié)AWS云存儲(chǔ)服務(wù)的顯著特點(diǎn)時(shí)，顧凡強(qiáng)調(diào)，“安全可信、至廣至深、高度集成、開(kāi)放生態(tài)是AWS存儲(chǔ)服務(wù)非常重要的特點(diǎn)?！?/span>

與客戶重視云應(yīng)用可靠性和數(shù)據(jù)安全性一樣，數(shù)據(jù)安全的重要性在AWS比所有的優(yōu)先級(jí)都高，AWS無(wú)時(shí)不刻都在強(qiáng)調(diào)安全是“Day1”是其根本的立足點(diǎn)。

Amazon S3對(duì)象存儲(chǔ)服務(wù)是被眾多客戶廣泛應(yīng)用的存儲(chǔ)服務(wù)，Amazon S3做了超細(xì)粒度的安全訪問(wèn)控制策略來(lái)滿足。同時(shí)，AWS還通過(guò)VPC來(lái)加強(qiáng)對(duì)數(shù)據(jù)網(wǎng)絡(luò)接入的控制，以及加密和審計(jì)功能來(lái)滿足各類法規(guī)遵從。

如今，AWS已經(jīng)形成了完整的云存儲(chǔ)服務(wù)陣容，覆蓋對(duì)象存儲(chǔ)、塊存儲(chǔ)、Linux文件存儲(chǔ)、Windows文件存儲(chǔ)、高性能文件存儲(chǔ)、低成本歸檔存儲(chǔ)，以及云上的備份存儲(chǔ)，并將這些服務(wù)同步到了中國(guó)市場(chǎng)。IDC在其IaaS MarketScape提到，AWS繼續(xù)保持其在公有云中IaaS市場(chǎng)的主導(dǎo)地位，并為客戶提供當(dāng)今公有云中最廣泛的基礎(chǔ)設(shè)施服務(wù)組合。

此外，AWS還提供多種數(shù)據(jù)傳輸和邊緣處理的服務(wù)，來(lái)滿足數(shù)據(jù)的在線傳輸和離線傳輸。比如，當(dāng)用戶要將數(shù)據(jù)遷移到Amazon S3時(shí)，可以在本地?cái)?shù)據(jù)中心安裝AWS Storage Gateway代理，可讓企業(yè)從本地訪問(wèn)不受限制的云存儲(chǔ)，從而簡(jiǎn)化存儲(chǔ)管理，降低關(guān)鍵混合云存儲(chǔ)用例的成本。

在深度方面，比如Amazon S3根據(jù)數(shù)據(jù)的訪問(wèn)頻率有多達(dá)6個(gè)標(biāo)準(zhǔn)分級(jí)，“用戶可以根據(jù)數(shù)據(jù)訪問(wèn)的頻度，以及應(yīng)用和工作負(fù)載對(duì)性能和備份數(shù)據(jù)回滾時(shí)間的容忍程度，來(lái)選擇最高性價(jià)比的存儲(chǔ)層”，顧凡說(shuō)，“S3 Intelligent-Tiering能夠通過(guò)機(jī)器學(xué)習(xí)的方式，去分辨、預(yù)測(cè)一個(gè)客戶的數(shù)據(jù)的冷熱程度，從而將數(shù)據(jù)自動(dòng)放到對(duì)應(yīng)的存儲(chǔ)分級(jí)中?！?/span>

AWS的云服務(wù)非常強(qiáng)調(diào)每項(xiàng)服務(wù)的高度集成性，對(duì)于存儲(chǔ)服務(wù)而言要緊跟云上工作負(fù)載未來(lái)的發(fā)展路徑，是要進(jìn)行大數(shù)據(jù)分析、數(shù)據(jù)湖、機(jī)器學(xué)習(xí)、應(yīng)用程序的現(xiàn)代化，還是容器化，隨著工作負(fù)載的迭代和演進(jìn)，存儲(chǔ)勢(shì)必需要滿足與其他云服務(wù)的緊密集成。顧凡特別強(qiáng)調(diào)了目前在云存儲(chǔ)服務(wù)集成性方面的鮮明用例，數(shù)據(jù)湖，微服務(wù)、容器化和無(wú)服務(wù)器化趨勢(shì)。

近年來(lái)，數(shù)據(jù)湖的快速增長(zhǎng)驅(qū)動(dòng)了Amazon S3的用量增長(zhǎng)，據(jù)AWS統(tǒng)計(jì)目前在Amazon S3上運(yùn)行著數(shù)萬(wàn)個(gè)數(shù)據(jù)湖應(yīng)用。數(shù)據(jù)湖有效的解決了跨數(shù)據(jù)孤島的數(shù)據(jù)分析的高吞吐、高并發(fā)、高可用和擴(kuò)展性的優(yōu)化。

“利用Amazon S3數(shù)據(jù)湖時(shí)，它與AWS Storage Gateway、Amazon EMR、Redshift、Athena、Kineses，SageMaker等云服務(wù)集成有效的保證了數(shù)據(jù)的注入、清洗、分析、查詢和機(jī)器學(xué)習(xí)模型訓(xùn)練”，顧凡舉例說(shuō)。

豐田互聯(lián)基于Amazon S3開(kāi)發(fā)和部署數(shù)據(jù)湖，僅用5個(gè)多月時(shí)間就上線了Toyota Big Data Center China，它可以存儲(chǔ)、處理上千萬(wàn)輛豐田汽車每天在行駛過(guò)程中產(chǎn)生的數(shù)十TB數(shù)據(jù)，利用Amazon S3的可伸縮性和高可用性，集成AWS Lambda，Amazon Kinesis和Amazon EMR等AWS服務(wù)的大規(guī)模數(shù)據(jù)處理功能，高效地完成從實(shí)時(shí)數(shù)據(jù)注入、解碼到分析、應(yīng)用的全流程。

經(jīng)過(guò)多年的積累，AWS云存儲(chǔ)服務(wù)聚集了眾多的合作伙伴，如NetApp、Commvault、VMware、Cloudera等等，從而構(gòu)建起了業(yè)界最為完整的存儲(chǔ)生態(tài)系統(tǒng)。

文件存儲(chǔ)成為新增長(zhǎng)極

近年來(lái)云上文件存儲(chǔ)的發(fā)展速度非?？欤募鎯?chǔ)服務(wù)也成為了AWS云存儲(chǔ)服務(wù)新的增長(zhǎng)極。在2020年初，AWS在中國(guó)區(qū)上線了針對(duì)Linux工作負(fù)載AWS EFS文件存儲(chǔ)服務(wù)后，這次又連續(xù)落地了針對(duì)Windows工作負(fù)載和高性能計(jì)算工作負(fù)載的文件存儲(chǔ)服務(wù)。

滿足企業(yè)在云端更加豐富的工作負(fù)載存儲(chǔ)需求是AWS加速文件存儲(chǔ)服務(wù)在中國(guó)市場(chǎng)落地驅(qū)動(dòng)力，在全球市場(chǎng)公有云上面運(yùn)轉(zhuǎn)的Windows工作負(fù)載有過(guò)半跑在AWS上。而Windows工作負(fù)載上云面臨兩方面的挑戰(zhàn)。首先，面對(duì)特定的Windows工作負(fù)載，企業(yè)不可能將其轉(zhuǎn)換成Linux工作負(fù)載，挑戰(zhàn)會(huì)比較大；而使用第三方存儲(chǔ)服務(wù)的軟件License在云上部署，又增加了運(yùn)維成本。

企業(yè)內(nèi)部圍繞Windows為核心的工作負(fù)載，比如ERP、CRM、Office辦公文件等這些系統(tǒng)遷移上云的時(shí)候，需要有與Windows工作負(fù)載的存儲(chǔ)服務(wù)來(lái)適配。

Amazon FSx for Windows File Server提供一種完全托管、高可靠且可擴(kuò)展的文件存儲(chǔ)服務(wù)，它與Windows應(yīng)用程序完全兼容，Linux和MacOS操作系統(tǒng)也可以通過(guò)行業(yè)標(biāo)準(zhǔn)的SMB協(xié)議訪問(wèn)，共享文件存儲(chǔ)。其主要應(yīng)用于用戶文件共享、Web網(wǎng)站服務(wù)、企業(yè)內(nèi)容管理、Windows應(yīng)用程序和工作負(fù)載、數(shù)據(jù)分析業(yè)務(wù)等工作負(fù)載。

在部署方式上，Amazon FSx for Windows支持單可用區(qū)，多可用區(qū)的部署，最多可提供跨三個(gè)可用區(qū)的部署，以提高最好的可用性、持久性。存儲(chǔ)介質(zhì)上可選擇SSD、HDD來(lái)平衡成本。

Amazon FSx for Windows還有一項(xiàng)業(yè)界獨(dú)有的功能“數(shù)據(jù)去重”。當(dāng)企業(yè)的文件存在非常接近或一模一樣的文件時(shí)，會(huì)占用大量的存儲(chǔ)資源。通過(guò)這項(xiàng)功能能夠幫助企業(yè)將相同的文件只保留一份，從而最大程度節(jié)約存儲(chǔ)成本，目前該功能的準(zhǔn)確率高到80%。

此外，Amazon FSx for Windows還有微軟的AD集成，從而簡(jiǎn)化存儲(chǔ)的權(quán)限管理、配額限定等管理工作。

高性能計(jì)算在過(guò)去幾十年時(shí)間中一直圍繞三個(gè)方向在持續(xù)努力，第一是計(jì)算節(jié)點(diǎn)能力，第二是網(wǎng)絡(luò)支撐能力，第三是文件存儲(chǔ)能否跟得上整個(gè)集群的響應(yīng)速度。所以，當(dāng)更復(fù)雜的應(yīng)用開(kāi)始實(shí)現(xiàn)在云上面部署的時(shí)候，高性能計(jì)算是一個(gè)非常大的驅(qū)動(dòng)力。

在2019年的全球超級(jí)計(jì)算機(jī)TOP500的榜單中，Descartes Labs使用AWS云資源運(yùn)行標(biāo)準(zhǔn)的高性能計(jì)算測(cè)試，性能達(dá)到1.926 petaflops，躋身TOP500中的第136位。這也是TOP500榜單上第一個(gè)在公有云上運(yùn)行的超級(jí)計(jì)算機(jī)，標(biāo)志著高性能計(jì)算工作負(fù)載跑上云端進(jìn)入了嶄新的階段。

高性能計(jì)算工作負(fù)載上云，能夠彈性、靈活、快速和低成本的獲得超算的能力，為航空航天研究、金融風(fēng)控、自動(dòng)駕駛等商業(yè)化發(fā)展鋪平了道路。

Amazon FSx for Lustre也是一項(xiàng)完全托管的高性能文件存儲(chǔ)服務(wù)，能提供亞毫秒級(jí)延遲、高達(dá)每秒數(shù)百GB的吞吐量和百萬(wàn)級(jí)的IOPS，為計(jì)算密集型工作負(fù)載提供經(jīng)濟(jì)高效的高性能存儲(chǔ)?？蓮V泛應(yīng)用于機(jī)器學(xué)習(xí)、高性能計(jì)算、電子設(shè)計(jì)自動(dòng)化、生命科學(xué)、自動(dòng)駕駛和視頻渲染等需要高性能共享存儲(chǔ)的工作負(fù)載。

據(jù)了解，在中國(guó)市場(chǎng)已經(jīng)有許多半導(dǎo)體設(shè)計(jì)公司和半導(dǎo)體供應(yīng)商開(kāi)始使用使用Amazon FSx for Lustre來(lái)運(yùn)行EDA中的工作負(fù)載。