現(xiàn)代機(jī)器學(xué)習(xí)和人工智能在解決復(fù)雜的問題方面取得了令人印象深刻的成果。然而，復(fù)雜的問題往往意味著復(fù)雜的數(shù)據(jù)，這必然導(dǎo)致更復(fù)雜的模型。真正理解一個模型為什么會做出某種預(yù)測，可能會和原來的問題本身一樣復(fù)雜！
這可能是有問題的，因?yàn)檫@些 ML 系統(tǒng)中已經(jīng)影響到從醫(yī)療、交通運(yùn)輸、刑事司法、風(fēng)險管理和其他社會生活領(lǐng)域。在許多情況下，這些人工智能系統(tǒng)的有用性和公平性受到我們理解、解釋和控制它們的能力的限制。因此，相當(dāng)大的努力被投入到打開強(qiáng)大而復(fù)雜的 ML 模型的黑匣子，比如深度神經(jīng)網(wǎng)絡(luò)的工作中。
可解釋的人工智能是指一系列使人們能夠理解為什么一個模型會給出特定的結(jié)果的方法和技術(shù)。模型可解釋性是我們在 Google 云高級解決方案實(shí)驗(yàn)室教給客戶的一個關(guān)鍵話題，在本文中，我們將展示如何使用 Google 云的可解釋性人工智能來部署可解釋和包容的機(jī)器學(xué)習(xí)模型。
本文中使用的所有代碼都可以在這里找到：https://github.com/GoogleCloudPlatform/training-data-analyst/tree/master/blogs/explainable_ai 。
可解釋性方法分類
模型可解釋性方法概述和不同技術(shù)的示例
大多數(shù)可解釋性方法可以分為下面三類：
內(nèi)在的還是后組織的。所謂內(nèi)在，我們指的是內(nèi)在可解釋的模型。也就是說，它們的結(jié)構(gòu)足夠簡單，我們可以通過簡單地觀察模型本身來理解模型是如何進(jìn)行預(yù)測的。例如，線性模型的學(xué)習(xí)權(quán)重或用決策樹學(xué)習(xí)的分割可以用來解釋模型做出預(yù)測的原理。
后組織方法包括使用經(jīng)過訓(xùn)練的模型和數(shù)據(jù)來理解為什么要進(jìn)行某些預(yù)測。在某些情況下，后組織方法也可以應(yīng)用于具有內(nèi)在可解釋性的模型。
在這篇文章中，我們將重點(diǎn)討論后自組織模型的可解釋性，因?yàn)樵S多先進(jìn)的方法，如梯度增強(qiáng)和神經(jīng)網(wǎng)絡(luò)，都是用這種方法最容易理解。
模型不可知與模型特定。模型不可知意味著可解釋性方法可以應(yīng)用于任何模型，而特定于模型的方法只能用于特定的模型類型。例如，如果該方法只適用于神經(jīng)網(wǎng)絡(luò)，則將其視為特定于模型。相反，如果可解釋性方法將訓(xùn)練的模型視為一個黑盒，那么它將被視為模型不可知的。
本地與全局：局部可解釋性方法旨在解釋單個數(shù)據(jù)點(diǎn)或預(yù)測，而全局方法則試圖全面解釋模型在整體上的表現(xiàn)。通過使用本地結(jié)果的聚合，所有本地方法都可以轉(zhuǎn)換為全局技術(shù)。
在 Google 云上部署可解釋模型
你可以使用可解釋的 AI 在 GCP 上部署可解釋模型，并使用 gcloud beta ai-platform explain 命令進(jìn)行預(yù)測。
訓(xùn)練、預(yù)測的步驟如下：
訓(xùn)練模型并將其部署到 GCP 上。
將包含基線特征值的 JSON 文件上傳到云存儲桶。
使用此 JSON 文件創(chuàng)建模型版本并指定 explanation-method。
請求 gcloud beta ai-platform explain 獲取解釋。
下面我們將更詳細(xì)地展示這些步驟。
首先，你需要一個在 Google 云 AI 平臺（CAIP）上經(jīng)過訓(xùn)練和部署的模型。我們將查看紐約市出租車數(shù)據(jù)集（https://bigquery.cloud.google.com/table/nyc-tlc:yellow.trips?tab=details&pli=1）。你可以看看這篇博文（https://towardsdatascience.com/how-to-train-machine-learning-models-in-the-cloud-using-cloud-ml-engine-3f0d935294b3），看看如何在 CAIP 上輕松地訓(xùn)練一個模型。在編寫本文時，AI 的解釋性只支持 TensorFlow 1.x，因此無論你構(gòu)建什么模型，請確保使用 TensorFlow 1.x。一旦你的模型采用 SavedModel 格式（https://www.google.com/search?q=tensorflow+model+format&oq=tensorflow+model+format&aqs=chrome.0.0l2j69i61j69i65j69i60l4.2431j0j7&sourceid=chrome&ie=UTF-8），我們將在 CAIP 上創(chuàng)建一個新模型：
gcloud ai-platform models create taxifare
在部署我們的模型之前，我們必須配置一個 explanations_metadata.json 文件并將其復(fù)制到模型目錄。在這個 JSON 文件中，我們需要告訴 AI 解釋我們的模型期望的輸入和輸出張量的名稱。
另外，在這個文件中，我們需要設(shè)置 input_baselines，它的作用是告訴解釋服務(wù)模型的基線，輸入應(yīng)該是什么。了解基線對于有效使用許多模型解釋技術(shù)非常重要。這兩種支持技術(shù)——Shapley 采樣和梯度綜合，將預(yù)測結(jié)果與基線特征值進(jìn)行比較。選擇適當(dāng)?shù)幕€是很重要的，因?yàn)楸举|(zhì)上，你是在對比模型的預(yù)測與基線值的比較方式。要了解更多關(guān)于基線的信息，請查看可解釋的 AI 白皮書（https://storage.googleapis.com/cloud-ai-whitepapers/AI%20Explainability%20Whitepaper.pdf）。
一般來說，對于數(shù)字形式的數(shù)據(jù)，我們建議選擇一個簡單的基線，例如平均值或中值。在本例中，我們將使用每個特征的中值——這意味著此模型的預(yù)測基線將是我們的模型使用數(shù)據(jù)集中，每個特征的中值預(yù)測的出租車費(fèi)用。
explanation_metadata = {
"inputs": {
"dayofweek": {
"input_tensor_name": "dayofweek:0",
"input_baselines": [baselines_mode[0][0]] # Thursday
},
"hourofday": {
"input_tensor_name": "hourofday:0",
"input_baselines": [baselines_mode[0][1]] # 8pm
},
"dropofflon": {
"input_tensor_name": "dropofflon:0",
"input_baselines": [baselines_med[4]]
},
"dropofflat": {
"input_tensor_name": "dropofflat:0",
"input_baselines": [baselines_med[5]]
},
"pickuplon": {
"input_tensor_name": "pickuplon:0",
"input_baselines": [baselines_med[2]]
},
"pickuplat": {
"input_tensor_name": "pickuplat:0",
"input_baselines": [baselines_med[3]]
},
},
"outputs": {
"dense": {
"output_tensor_name": "output/BiasAdd:0"
}
},
"framework": "tensorflow"
}
我們可以將此 Python 字典寫入 JSON 文件：
# Write the json to a local file
with open(‘explanation_metadata.json’, ‘w’) as output_file:
json.dump(explanation_metadata, output_file)
# Copy the json to the model directory.
然后在 bash 中，我們使用 gsutil 將 JSON 文件復(fù)制到模型目錄中。
$ gsutil cp explanation_metadata.json $model_dir
現(xiàn)在我們已經(jīng)創(chuàng)建了 explaintations_metadata.json 文件，我們將部署新版本的模型。此代碼與使用 gcloud 創(chuàng)建模型版本的一般過程非常相似，但有一些附加標(biāo)志：
gcloud beta ai-platform versions create $VERSION_IG \
-- model $MODEL \
--origin $model_dir \
--runtime-version 1.15 \
--framework TENSORFLOW \
--python-version 3.5 \
--machine-type n1-standard-4 \
--explanation-method ‘integrated-gradients’ \
--num-integral-steps 25
使用「explanation method」標(biāo)志指定解釋方法——當(dāng)前支持綜合梯度和 Shapley 采樣。
注：當(dāng)在綜合梯度和 Shapley 采樣之間進(jìn)行取舍時，我們引用白皮書上的內(nèi)容：
對于神經(jīng)網(wǎng)絡(luò)和一般可微模型，推薦使用綜合梯度。它提供了計(jì)算優(yōu)勢，特別是對于大的輸入特征空間（例如，具有數(shù)千個輸入像素的圖像）來說很有用。對于不可微模型，我們推薦使用 Shapley 采樣，這是由樹和神經(jīng)網(wǎng)絡(luò)的元集合組成的 AutoML Tables 模型的情況。
此外，對于那些想知道 Shapley 抽樣方法與流行的 SHAP 庫有何不同的人，白皮書中有如下內(nèi)容：
有很多方法可以應(yīng)用 Shapley 值，它們在引用模型、訓(xùn)練數(shù)據(jù)和解釋上下文的方式上有所不同。這導(dǎo)致了用于解釋模型預(yù)測的 Shapley 值的多樣性?？紤]到 Shapley 的唯一性，這有點(diǎn)不幸。Mukund Sundararajan 和 Amir Najmi 在「 The many Shapley values for model explanation」中對此主題進(jìn)行了深入的討論。我們的方法屬于基線 Shapley 類別，可以同時支持跨各種輸入數(shù)據(jù)模式的多個基線。
現(xiàn)在我們的模型已經(jīng)部署，我們可以從 Jupyter notebook 獲取本地屬性：
resp_obj = !gcloud beta ai-platform explain — model $MODEL \
— version $VERSION_IG — json-instances=’taxi-data.txt’
response_IG = json.loads(resp_obj.s)
# Analyze individual example.
explanations_IG = response_IG[‘explanations’][0][‘a(chǎn)ttributions_by_label’][0]
我們可以將這些內(nèi)容加載到 Pandas DataFrame 中，并為各個示例繪制屬性：
df = pd.DataFrame(explanations_IG)
df.head()
row = df.iloc[0] # First example.
row.plot(kind=’barh’)
最后，我們可以通過聚合本地屬性來獲得全局模型的可解釋性：
df.mean(axis=0).plot(kind=’barh’, color=’orange’)
有關(guān)使用 Shapley 抽樣全局屬性的更多信息，請參閱這篇文章：https://arxiv.org/pdf/1908.08474.pdf。
結(jié)論
就到這里了！在本文中，我們展示了如何使用可解釋的人工智能在 Google 云平臺上部署可解釋模型?？山忉尩娜斯ぶ悄芄ぞ咴试S用戶從已部署的模型中獲取本地解釋。這些解釋可以結(jié)合在一起，以提供全局解釋性。除了上述步驟之外，你還可以查看 What-If 工具（https://pair-code.github.io/what-if-tool/index.html#features）來檢查和解釋你的模型。
版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明。
本文鏈接：https://blog.csdn.net/weixin_42137700/article/details/104569444
谷歌云
專欄
閩公網(wǎng)安備 35010202001226號
