華為云Web應(yīng)用防火墻：通過配置反爬蟲防護策略阻止爬蟲攻擊

網(wǎng)絡(luò)爬蟲為網(wǎng)絡(luò)信息收集與查詢提供了極大的便利，但同時也對網(wǎng)絡(luò)安全產(chǎn)生以下負面影響：

·網(wǎng)絡(luò)爬蟲會根據(jù)特定策略盡可能多的“爬過”網(wǎng)站中的高價值信息，占用服務(wù)器帶寬，增加服務(wù)器的負載

·惡意用戶利用網(wǎng)絡(luò)爬蟲對Web服務(wù)發(fā)動DoS攻擊，可能使Web服務(wù)資源耗盡而不能提供正常服務(wù)

·惡意用戶利用網(wǎng)絡(luò)爬蟲抓取各種敏感信息，造成網(wǎng)站的核心數(shù)據(jù)被竊取，損害企業(yè)經(jīng)濟利益

Web應(yīng)用防火墻可以通過Robot檢測（識別User-Agent）、網(wǎng)站反爬蟲（檢查瀏覽器合法性）和CC攻擊防護（限制訪問頻率）三個反爬蟲策略，全方位幫您解決業(yè)務(wù)網(wǎng)站遭受的爬蟲問題。

前提條件

域名已成功接入WAF。

開啟Robot檢測（識別User-Agent）

開啟Robot檢測后，WAF可以檢測和攔截惡意爬蟲、掃描器、網(wǎng)馬等威脅。

1.登錄管理控制臺。

2.進入網(wǎng)站設(shè)置頁面入口，如圖1所示。

圖1網(wǎng)站設(shè)置入口

3.在您需要防護的域名（網(wǎng)站）所在行的“防護策略”欄中，單擊“配置防護策略”，進入“防護配置”頁面，確認“Web基礎(chǔ)防護”的“狀態(tài)”為，如圖2所示。

圖2 Web基礎(chǔ)防護配置框

4.單擊“高級設(shè)置”，確認Robot檢測開關(guān)為打開狀態(tài)，如圖3所示。

圖3打開Robot檢測開關(guān)

當(dāng)WAF檢測到惡意爬蟲、掃描器等對網(wǎng)站進行爬取時，將立即攔截并記錄該事件，您可以在“防護事件”頁面查看爬蟲防護日志。

開啟網(wǎng)站反爬蟲（檢查瀏覽器合法性）

開啟網(wǎng)站反爬蟲，WAF可以動態(tài)分析網(wǎng)站業(yè)務(wù)模型，結(jié)合人機識別技術(shù)和數(shù)據(jù)風(fēng)控手段，精準識別爬蟲行為。

1.登錄管理控制臺。

2.進入網(wǎng)站設(shè)置頁面入口，如圖4所示。

圖4網(wǎng)站設(shè)置入口

3.在您需要防護的域名（網(wǎng)站）所在行的“防護策略”欄中，單擊“配置防護策略”，進入“防護配置”頁面，在“網(wǎng)站反爬蟲”配置框，單擊開啟網(wǎng)站反爬蟲，如圖5所示。

圖5開啟網(wǎng)站反爬蟲

開啟該防護后，非瀏覽器的訪問將不能獲取業(yè)務(wù)頁面。

配置CC攻擊防護（限制訪問頻率）

開啟CC攻擊防護，限制單個IP/Cookie/Referer訪問者對您的網(wǎng)站上特定路徑（URL）的訪問頻率，緩解CC攻擊對業(yè)務(wù)的影響。

1.登錄管理控制臺。

2.進入網(wǎng)站設(shè)置頁面入口，如圖6所示。

圖6網(wǎng)站設(shè)置入口

3.在您需要防護的域名（網(wǎng)站）所在行的“防護策略”欄中，單擊“配置防護策略”，進入“防護配置”頁面，確認“CC攻擊防護”的“狀態(tài)”為，如圖7所示。

圖7 CC防護規(guī)則配置框

4.在“CC防護”規(guī)則配置頁面左上角，單擊“添加規(guī)則”。以IP限速和人機驗證為例，添加IP限速規(guī)則，如圖8所示。

圖8配置IP限速模式

設(shè)置成功后，當(dāng)用戶訪問超過限制后需要輸入驗證碼才能繼續(xù)訪問。