Azure Data Lake Storage Gen2 簡介

Azure Data Lake Storage Gen2是一組專用于大數(shù)據(jù)分析的功能，以Azure Blob存儲為基礎(chǔ)而構(gòu)建。

專為企業(yè)大數(shù)據(jù)分析而設(shè)計(jì)

Data Lake Storage Gen2使Azure存儲成為在Azure上構(gòu)建企業(yè)Data Lake的基礎(chǔ)。Data Lake Storage Gen2從一開始就設(shè)計(jì)為存儲數(shù)千萬億字節(jié)的信息，同時(shí)保持?jǐn)?shù)百千兆位的吞吐量，允許你輕松管理大量數(shù)據(jù)。

Data Lake Storage Gen2的一個(gè)基本部分是向Blob存儲添加分層命名空間。分層命名空間將對象/文件組織到目錄層次結(jié)構(gòu)中，以便進(jìn)行有效的數(shù)據(jù)訪問。常見的對象存儲命名約定在名稱中使用斜杠來模擬分層目錄結(jié)構(gòu)。這種結(jié)構(gòu)在Data Lake Storage Gen2中得以真正實(shí)現(xiàn)。重命名或刪除目錄等操作會成為目錄上的單個(gè)原子元數(shù)據(jù)操作。無需枚舉和處理共享目錄名稱前綴的所有對象。

Data Lake Storage Gen2在Blob存儲的基礎(chǔ)上構(gòu)建，并通過以下方式增強(qiáng)了性能、管理和安全性：

優(yōu)化了性能，因?yàn)槟悴恍枰獙?fù)制或轉(zhuǎn)換數(shù)據(jù)作為分析的先決條件。與Blob存儲上的平面命名空間相比，分層命名空間極大地提高了目錄管理操作的性能，從而提高了整體作業(yè)性能。

管理更為容易，因?yàn)槟憧梢酝ㄟ^目錄和子目錄來組織和操作文件。

安全性是可以強(qiáng)制實(shí)施的，因?yàn)榭梢栽谀夸浕騿蝹€(gè)文件上定義POSIX權(quán)限。

另外，Data Lake Storage Gen2非常經(jīng)濟(jì)高效，因?yàn)樗鼧?gòu)建在低成本的Azure Blob存儲之上。這些新增功能進(jìn)一步降低了在Azure上運(yùn)行大數(shù)據(jù)分析的總擁有成本。

Data Lake Storage Gen2的主要功能

Hadoop兼容訪問：使用Data Lake Storage Gen2，可以像使用Hadoop分布式文件系統(tǒng)(HDFS)一樣管理和訪問數(shù)據(jù)。新的ABFS驅(qū)動程序（用于訪問數(shù)據(jù)）在所有Apache Hadoop環(huán)境中都可用。這些環(huán)境包括Azure HDInsight、Azure Databricks和Azure Synapse Analytics。

POSIX權(quán)限的超集：Data Lake Gen2的安全模型支持ACL和POSIX權(quán)限，以及特定于Data Lake Storage Gen2的一些額外粒度?？梢酝ㄟ^存儲資源管理器或Hive和Spark等框架來配置設(shè)置。

經(jīng)濟(jì)高效：Data Lake Storage Gen2提供了低成本的存儲容量和事務(wù)。Azure Blob存儲生命周期等功能可在數(shù)據(jù)在其生命周期中進(jìn)行轉(zhuǎn)換時(shí)優(yōu)化成本。

優(yōu)化的驅(qū)動程序：ABFS驅(qū)動程序已針對大數(shù)據(jù)分析進(jìn)行專門優(yōu)化。相應(yīng)的REST API通過終結(jié)點(diǎn)dfs.core.chinacloudapi.cn進(jìn)行顯示。

可伸縮性

按照設(shè)計(jì)，無論是通過Data Lake Storage Gen2還是Blob存儲接口進(jìn)行訪問，Azure存儲都可自如縮放。它可以存儲和處理許多百億億字節(jié)的數(shù)據(jù)。這種存儲量可用于在每秒高級別的輸入/輸出操作(IOPS)下以每秒千兆位(Gbps)的速度測量的吞吐量。會根據(jù)在服務(wù)、帳戶和文件級別上測量的近乎持續(xù)的按請求度量的延遲來進(jìn)行處理。

成本效益

因?yàn)镈ata Lake Storage Gen2是在Azure Blob存儲基礎(chǔ)之上構(gòu)建的，所以存儲容量和事務(wù)成本較低。不同于其他云存儲服務(wù)，在分析數(shù)據(jù)之前，無需移動或轉(zhuǎn)換數(shù)據(jù)。有關(guān)定價(jià)的詳細(xì)信息，請參閱Azure存儲定價(jià)。

此外，分層命名空間等功能可顯著提高許多分析作業(yè)的整體性能。這一性能方面的提升意味著你需要較少的計(jì)算能力來處理相同數(shù)量的數(shù)據(jù)，從而降低端到端分析作業(yè)的總擁有成本(TCO)。

一個(gè)服務(wù)，多個(gè)概念

因?yàn)镈ata Lake Storage Gen2是在Azure Blob存儲基礎(chǔ)之上構(gòu)建的，所以可以使用多個(gè)概念來描述相同的共享內(nèi)容。

以下是不同概念所描述的等效實(shí)體。除非另有說明，否則這些實(shí)體是直接同義的：

一個(gè)服務(wù)，多個(gè)概念

支持的Blob存儲功能

你的帳戶現(xiàn)在可使用診斷日志記錄、訪問層和Blob存儲生命周期管理策略等Blob存儲功能。

有關(guān)受支持的Blob存儲功能的列表，請參閱Azure Data Lake storage Gen2中提供的Blob存儲功能。

支持的Azure服務(wù)集成

Data Lake Storage gen2支持多個(gè)Azure服務(wù)?？梢允褂盟鼈儊硪霐?shù)據(jù)、執(zhí)行分析和創(chuàng)建可視化表示形式。有關(guān)受支持的Azure服務(wù)的列表，請參閱支持Azure Data Lake Storage Gen2的Azure服務(wù)。

支持的開源平臺

多個(gè)開源平臺支持Data Lake Storage Gen2。有關(guān)完整列表，請參閱支持Azure Data Lake Storage Gen2的開源平臺。