AI大模型十大威脅全面解析：如何捍衛(wèi)智能時代的安全底線？

研究發(fā)現(xiàn)，自2023年4月至2024年1月期間，AI/ML工具使用量飆升了594.82%。在2024大模型應(yīng)用元年，多參數(shù)、高精度的AI大模型成就新質(zhì)生產(chǎn)力的同時，也暴露出了諸多更復(fù)雜的安全風(fēng)險?；谪撠?zé)任的AI倫理需求，保障AI大模型的可靠實用、安全真實，不僅成為亟待突破的智能化瓶頸，也是保障數(shù)字化安全的關(guān)鍵課題。

Akamai“蜀”智出海，從“蓉”上云主題分布式云戰(zhàn)略高峰論壇上，上海觀安信息網(wǎng)絡(luò)安全專家，OWASP上海分會主席王文君先生，圍繞AI大模型本身的安全問題，系統(tǒng)梳理了當下泛濫的AI大模型十大威脅，并提出了制度先行、實踐框架、安全工具三個層次的安全產(chǎn)業(yè)合作策略。

AI大模型風(fēng)險圖形化

01 提示詞注入

提示詞注入攻擊過程中，攻擊者會通過刻意輸入惡意提示詞，操縱大型語言模型，導(dǎo)致大模型執(zhí)行意外操作，輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入，會覆蓋系統(tǒng)提示詞；而間接注入，會隱藏惡意指令，通過文檔、網(wǎng)頁、圖像等載體進行注入攻擊，繞過大模型的安全檢測機制。

間接提示詞注入，更考驗黑客的思維創(chuàng)造能力，通常隱藏著更大危害。由于訓(xùn)練成本與獲取實時數(shù)據(jù)的瓶頸問題，大模型應(yīng)用過程中多涉及與插件操作，一旦大模型用插件去訪問被攻擊者操控的目標網(wǎng)站，攻擊者payload返給大模型處理后，大模型用戶將可能遭遇數(shù)據(jù)泄露等威脅。

02 不安全的輸出處理

透視不安全的輸出處理攻擊路徑，黑客會精心構(gòu)造惡意查詢輸入大模型，當大模型輸出未經(jīng)處理而被上游系統(tǒng)直接使用，則會出現(xiàn)此漏洞暴露上游系統(tǒng)，返回帶有惡意代碼的輸出，此類濫用可能會導(dǎo)致XSS、CSRF、SSRF、權(quán)限升級或遠程代碼執(zhí)行等嚴重后果。

黑客可能會使用包含提示注入指令等網(wǎng)站摘要提取工具，捕獲用戶對話敏感內(nèi)容；后續(xù)大模型直接將響應(yīng)傳遞給插件做惡意操作，而沒有適當?shù)妮敵鲵炞C，則會加劇風(fēng)險。因此一旦產(chǎn)生敏感信息、集成代碼等不安全的輸出處理時，不應(yīng)該盲目信任、直接渲染，可能要做一些過濾、分析來進行處理。

03 訓(xùn)練數(shù)據(jù)投毒

數(shù)據(jù)、算法、算力，是人工智能“三駕馬車”。訓(xùn)練數(shù)據(jù)投毒，是污染AI大模型的惡劣手段，會嚴重破壞AI向善格局。黑客會操縱預(yù)訓(xùn)練數(shù)據(jù)或在微調(diào)或嵌入過程中涉及的數(shù)據(jù)，以引入可能危害模型安全性或道德行為的漏洞、后門或偏見內(nèi)容。

投毒的信息可能會被呈現(xiàn)給用戶，或者造成其他風(fēng)險，如性能下降、下游軟件濫用和聲譽損害。惡意行為者或競爭對手，故意針對大模型的預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)進行投毒，使之輸出不正確的內(nèi)容。而另一種攻擊場景，可能是大模型使用未經(jīng)驗證的數(shù)據(jù)進行訓(xùn)練，則會致使虛假信息泛濫。

04 大模型拒絕服務(wù)

如果說訓(xùn)練數(shù)據(jù)投毒是對LLM資源的污染，那么大模型拒絕服務(wù)就是對資源的浪費。在此過程中，攻擊者會對大模型進行資源密集型操作，導(dǎo)致服務(wù)降級或高成本。由于LLM的資源密集型性質(zhì)和用戶輸入的不可預(yù)測性，該漏洞可能會被放大。

攻擊者持續(xù)不斷地向大模型發(fā)送消耗資源的操作（生成圖像和視頻），攻擊者會通過制作利用大模型遞歸行為的輸入，占用大量計算資源。在應(yīng)用高峰期，大模型拒絕服務(wù)循環(huán)運轉(zhuǎn)的話，將會對大模型的常態(tài)性能造成巨大沖擊。

05 供應(yīng)鏈風(fēng)險

供應(yīng)鏈風(fēng)險是近年來的熱門安全話題，不只是與勒索軟件形成協(xié)同威脅，還會滲透至大模型應(yīng)用程序的生命周期中，通過薄弱環(huán)節(jié)的組件或服務(wù)生成攻擊。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件，都有可能引起大模型應(yīng)用的供應(yīng)鏈風(fēng)險。

譬如，攻擊者利用PyPi軟件包發(fā)布惡意庫，對Hugging Face市場上的大模型文件進行反序列化，篡改了一個公開可用的預(yù)訓(xùn)練模型，將誘餌部署在Hugging Face模型市場上，等待潛在受害者下載使用。

06 敏感信息泄漏

大模型應(yīng)用程序根據(jù)用戶輸入查詢，可能會輸出敏感信息，可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、知識產(chǎn)權(quán)，侵犯隱私和其他安全漏洞。攻擊者通過精心設(shè)計的一組提示詞，向大模型發(fā)送間接提示詞注入，會繞過防護機制，沒有通過脫敏而泄漏到訓(xùn)練模型中去。

大模型的重要應(yīng)用場景，便是扮演個人辦公助手，通過處理郵件、自動匯總會議信息等方式，釋放企業(yè)員工的生產(chǎn)力。圍繞該場景，黑客可能借助插件獲取受害者的郵件，竊取用戶的敏感信息。配合上網(wǎng)絡(luò)釣魚與虛假網(wǎng)站，黑客的社會工程攻擊會產(chǎn)生更大的破壞力。

07 不安全的插件設(shè)計

插件的存在，拓展與繁榮了大模型創(chuàng)新生態(tài)，但若缺失對相關(guān)調(diào)用API的安全管控，會帶來顯著危害。而大模型插件一旦未正確處理輸入以及沒有充分進行權(quán)限控制，攻擊者便可以利用漏洞進行攻擊，如遠程代碼執(zhí)行。

啟用大模型插件時，會在用戶與大模型交互時自動調(diào)用。插件接受來自大模型輸入文本而不進行驗證，這使得攻擊者可以構(gòu)造惡意請求發(fā)送給插件，造成高風(fēng)險威脅。如天氣預(yù)報插件接受基本URL獲取天氣情況，黑客通過精心構(gòu)造URL指向控制域名執(zhí)行命令，會影響下游插件，若使用間接提示注入來操縱代碼管理插件，可造成刪庫風(fēng)險。

08 過度代理

凡事適度，即便身處大模型時代，過于相信大模型也會陷入過度代理的險境。造成此類風(fēng)險的根本原因通常是功能過多、權(quán)限過多或自主權(quán)過多。過度代理會允許在大模型在出現(xiàn)意外時（如通過直接或間接提示注入等）會執(zhí)行破壞性操作。

針對AI大模型扮演個人智能助理場景，社會工程類攻擊者會編造一封郵件內(nèi)容發(fā)給用戶。個人助理進行處理后，若沒有限制大模型的發(fā)送郵件功能，可能發(fā)送垃圾郵件/釣魚郵件給其他用戶，而文檔的插件會允許用戶執(zhí)行刪除操作，而無需用戶的任何確認。

09 過度依賴

過度代理不可取，過度依賴不可信。雖然大模型可以生成創(chuàng)意內(nèi)容，但它們也可能是生成不準確、不適當或不安全的內(nèi)容幻覺。過度依賴大模型可能會導(dǎo)致錯誤信息、法律問題和安全漏洞。相信不少大模型用戶都會遇到過大模型“一本正經(jīng)地胡說八道”的AI幻覺時刻。

無意識的AI可能會進行內(nèi)容剽竊，導(dǎo)致版權(quán)問題和對組織的信任度下降。例如，軟件開發(fā)公司使用大模型來協(xié)助開發(fā)者，同時開發(fā)人員完全信任AI，可能無意中將惡意包集成到公司的軟件中，這將會埋下隱蔽的風(fēng)險隱患。

10 模型失竊

模型失竊威脅，是指具有知識產(chǎn)權(quán)的私有大模型被盜取、復(fù)制或權(quán)重和參數(shù)被提取，以創(chuàng)建一個功能等效的模型。這將損害創(chuàng)新企業(yè)的經(jīng)濟和品牌聲譽、削弱競爭優(yōu)勢，以及致使黑客對模型進行未授權(quán)使用、盜取一些垂直領(lǐng)域的敏感信息等。

鑒于全球已發(fā)生多起使用AIGC導(dǎo)致的數(shù)據(jù)泄露事件，多國合規(guī)機構(gòu)升級監(jiān)管要求，當下維護AI大模型的安全性與可靠性，是保障各行業(yè)由數(shù)字化邁向智能化的關(guān)鍵安全基礎(chǔ)。以AI抗擊AI是當下的主要安全策略，2024年RSAC創(chuàng)新沙盒大賽冠軍Reality Defender網(wǎng)絡(luò)安全公司的深度偽造檢測平臺，即善用多模型支持政府和企業(yè)檢測AI生成的虛假內(nèi)容，已然成為網(wǎng)絡(luò)安全的新風(fēng)向。

Akamai首席執(zhí)行官兼聯(lián)合創(chuàng)始人湯姆·萊頓指出，大模型提速升級的當下，短期內(nèi)黑客可能獲得不對稱的優(yōu)勢；但基于Akamai AI智能化產(chǎn)品，能支持客戶去檢測異常與受攻擊情況，監(jiān)測撞庫攻擊、盜號等情況。在未來，Akamai也將持續(xù)對AI與云服務(wù)進行創(chuàng)新融合，構(gòu)建更為穩(wěn)固的安全防線。