Azure數(shù)據(jù)目錄是完全托管的云服務。有了它,用戶可以發(fā)現(xiàn)所需的數(shù)據(jù)源并理解所找到的數(shù)據(jù)源。同時,數(shù)據(jù)目錄還可幫助組織從其現(xiàn)有投資中獲取更多價值。
借助數(shù)據(jù)目錄,任何用戶(分析人員、數(shù)據(jù)科學家或開發(fā)者)都可以發(fā)現(xiàn)、了解和使用數(shù)據(jù)源。數(shù)據(jù)目錄包含元數(shù)據(jù)和批注的眾包模型。它是供組織的所有用戶貢獻其知識和構建數(shù)據(jù)社區(qū)和文化的一個集中位置。
數(shù)據(jù)使用者面臨的數(shù)據(jù)發(fā)現(xiàn)難題
一直以來,發(fā)現(xiàn)企業(yè)數(shù)據(jù)源都是基于部落知識的有機過程。對于想要從其信息資產(chǎn)中獲取最大價值的公司,這種方法存在許多挑戰(zhàn):
·用戶可能并不知道數(shù)據(jù)源的存在,除非在另一個過程中與之接觸。不存在一個統(tǒng)一注冊數(shù)據(jù)源的位置。
·除非用戶知道數(shù)據(jù)源的位置,否則其無法使用客戶端應用程序連接到數(shù)據(jù)。要使用數(shù)據(jù),用戶需要知道連接字符串或路徑。
·除非用戶知道數(shù)據(jù)源的文檔的位置,否則其無法了解數(shù)據(jù)的預期用途。數(shù)據(jù)源和文檔可能位于各種位置,并通過各種方式使用。
·如果用戶對信息資產(chǎn)有疑問,他們必須找到負責數(shù)據(jù)的專家或團隊,并在線下向其進行咨詢。數(shù)據(jù)與對其用途持有特定觀點的專家之間沒有明顯聯(lián)系。
·除非用戶了解請求訪問數(shù)據(jù)源的過程,否則,發(fā)現(xiàn)數(shù)據(jù)源及其文檔仍無助于訪問數(shù)據(jù)。
數(shù)據(jù)生成者面臨的數(shù)據(jù)發(fā)現(xiàn)難題
雖然數(shù)據(jù)使用者面臨上述難題,負責生成和維護信息資產(chǎn)的用戶也面臨著自身的難題:
·使用描述性元數(shù)據(jù)批注數(shù)據(jù)源通常是徒勞的??蛻舳藨贸绦蛲ǔ雎源鎯υ跀?shù)據(jù)源中的說明。
·為數(shù)據(jù)源創(chuàng)建文檔通常也是徒勞的。讓文檔與數(shù)據(jù)源保持同步是一項需要持續(xù)進行的工作。用戶可能對視為過期的文檔缺少信任。
·創(chuàng)建和維護數(shù)據(jù)源的文檔非常復雜且耗時。為了讓使用數(shù)據(jù)源的每個用戶可隨時獲取文檔,面臨的挑戰(zhàn)可能更加艱巨。
·限制對數(shù)據(jù)源的訪問,確保數(shù)據(jù)使用者知道如何請求訪問是一個持續(xù)性的挑戰(zhàn)。
這些挑戰(zhàn)共同形成巨大的障礙,使得公司難以鼓勵和推動企業(yè)數(shù)據(jù)的使用及了解。
Azure數(shù)據(jù)目錄的幫助
數(shù)據(jù)目錄旨在解決這些問題,并幫助企業(yè)充分利用現(xiàn)有的信息資產(chǎn)。數(shù)據(jù)目錄可幫助管理數(shù)據(jù)的用戶更輕松地發(fā)現(xiàn)和理解數(shù)據(jù)源。
數(shù)據(jù)目錄提供基于云的服務,可在其中注冊數(shù)據(jù)源。數(shù)據(jù)保留在現(xiàn)有位置,但其元數(shù)據(jù)的副本將連同數(shù)據(jù)源位置的引用一起添加到數(shù)據(jù)目錄。此元數(shù)據(jù)還會編制索引,方便通過搜索功能輕松發(fā)現(xiàn)每個數(shù)據(jù)源,并讓發(fā)現(xiàn)數(shù)據(jù)源的用戶理解該數(shù)據(jù)源。
注冊數(shù)據(jù)源之后,可以充實其元數(shù)據(jù)。注冊數(shù)據(jù)源的用戶或企業(yè)中的其他用戶可以添加元數(shù)據(jù)。任何用戶都可以提供描述、標記或其他元數(shù)據(jù)(例如請求數(shù)據(jù)源訪問權限的文檔和過程)來批注數(shù)據(jù)源。此描述性元數(shù)據(jù)可補充從數(shù)據(jù)源注冊的結構化元數(shù)據(jù)(例如列名和數(shù)據(jù)類型)。
注冊源的主要目的是發(fā)現(xiàn)和理解數(shù)據(jù)源及其用途。企業(yè)用戶可能需要用于商業(yè)智能、應用程序開發(fā)、數(shù)據(jù)科學或需要正確數(shù)據(jù)的任何其他任務的數(shù)據(jù)。他們可以使用“數(shù)據(jù)目錄發(fā)現(xiàn)”體驗快速查找符合其需求的數(shù)據(jù)、了解數(shù)據(jù)以評估其適用性,并通過在其所選工具中打開數(shù)據(jù)源來使用數(shù)據(jù)。
與此同時,用戶還可通過對已注冊的數(shù)據(jù)源進行標記、記錄和批注來參與目錄。他們還可以注冊新的數(shù)據(jù)源,隨后目錄用戶的社區(qū)可以發(fā)現(xiàn)、了解和使用這些數(shù)據(jù)源。