“已發(fā)現-當前未編入索引”表示Google知道該URL,但尚未對其進行抓取或編入索引。按照這五個步驟來診斷和解決問題。
1.請求索引
如果您只看到幾頁出現“已發(fā)現-當前未編入索引”問題,請嘗試通過Google Search Console(GSC)請求編入索引。為此,請單擊菜單上的“URL檢查”并輸入頁面的URL。如果當前未編入索引,請點擊“請求編入索引”按鈕。
·如果一切正常,您應該會看到一條消息,表明該URL已添加到優(yōu)先級爬網隊列中。您可以提交的URL數量是有限制的。雖然這在文檔中沒有定義,但您通??梢悦刻焯峤?0-15個URL。
·如果這不起作用,那么在第二次請求索引之前,您幾乎總是需要診斷和修復一個潛在的問題。
2.檢查抓取預算問題
抓取預算是搜索引擎希望在您的網站上抓取的頁面的速度和數量。如果您的可抓取網址超出抓取預算,您可能會看到“已發(fā)現-當前未編入索引”警告。根據Google的Gary Illyes的說法,90%的網站不需要擔心這個問題。但是,盡管爬網預算問題往往會影響較大的網站,但特定的技術設置、問題和錯誤可能會導致較小的網站出現問題。讓我們看看一些可能導致抓取預算問題的事情以及如何改進它們。
您是否提供來自子域的內容?
假設您的主網站位于example.com,但您在子域(例如cdn.example.com)上有資產。在這種情況下,資產子域可能會被視為您的主網站的一部分,并為抓取預算組合在一起??紤]使用單獨的爬網預算從CDN URL提供資產來解決此問題。
你有不必要的重定向嗎?
通常,當我們決定從網站上刪除一個頁面時,我們會添加一個重定向到另一個相關頁面。但是,這并不總是必要的。除非頁面有反向鏈接或流量,否則最好刪除或替換已刪除頁面的內部鏈接并返回404。您可以使用Ahrefs網站管理員工具(AWT)帳戶免費找到帶有內部和外部鏈接的重定向URL。這是過程:
·使用Ahrefs的Site Audit抓取您的網站
·轉到最新的爬網
·轉到重定向報告
·點擊內部URL重定向的數量
·為“否”添加列。在所有鏈接中”和“不。引用域”
你有重復的內容嗎?
重復內容是指您擁有可通過多個URL訪問的頁面的接近或精確副本。示例包括:
·可以在您網站的www和非www版本以及HTTPS和HTTP訪問相同的頁面。
·開發(fā)或登臺實例。
·帶有樣板內容的空產品或類別頁面。
·解決重復內容問題的方式取決于您的具體情況。
您是否使用過內部nofollow鏈接?
Nofollow鏈接不會阻止頁面被索引。但是,在內部使用它們會告訴搜索引擎頁面并不重要。以下是如何使用AWT免費查找?guī)в衝ofollowed內部鏈接的頁面:
·使用站點審核抓取您的站點
·轉到鏈接報告
·單擊“問題”選項卡
·尋找“頁面只有nofollow傳入內部鏈接”和“頁面有nofollow和dofollow傳入內部鏈接”警告和注意事項
如果頁面很重要,請將nofollow鏈接替換為后續(xù)鏈接。
你有孤立頁面嗎?
如果發(fā)現新頁面的唯一方法是通過站點地圖并且沒有內部鏈接,那么Google可能會認為它不重要。在討論內部鏈接時,我將在下面更詳細地討論這一點。
3.檢查內容質量問題
谷歌不會索引它發(fā)現的所有東西。它優(yōu)先考慮高質量、獨特和引人注目的內容。由于Google尚未抓取帶有此警告的頁面,因此無法知道內容是否低質量。然而,它可能有一個基于它已經爬過的類似頁面的想法——這就是為什么它可能會“降低”爬取的優(yōu)先級。以下是Google不太可能編入索引的幾種類型的內容:
·機器翻譯的內容——如果您使用谷歌的翻譯API或類似的本地化內容,翻譯將遠非完美。在這種情況下,它對搜索者來說并不是特別有用。
·旋轉內容——這是您使用軟件重寫內容的地方。結果幾乎總是低質量的抄襲內容。
·人工智能生成的內容——人工智能寫作工具越來越受歡迎,但它們很少在沒有人工參與的情況下創(chuàng)建有用的內容。
·精簡內容——這些頁面沒有太多獨特的內容。
簡而言之,如果您有精簡內容,請將其與其他精簡內容合并以創(chuàng)建有用的內容或將其刪除。否則,改進內容。如果生成的內容不是為自然搜索而制作的,則不要對其進行索引,以便搜索引擎可以優(yōu)先抓取更重要的頁面。
4.檢查內容是否在內部鏈接
內部鏈接是從您網站上的一個頁面到另一個頁面的鏈接。Google經常將沒有任何或許多內部鏈接的URL視為不重要的,并且可能不會將它們編入索引。您可以使用AWT免費檢查URL是否具有內部鏈接。就是這樣:
·使用站點審核抓取您的站點
·轉到頁面資源管理器工具
·在“內容”下過濾“所有頁面”
·為“編號”添加一列。在所有鏈接中”
如果您在設置項目時選擇了反向鏈接和/或站點地圖作為URL源,您可能還可以找到一些孤立頁面。只需轉到鏈接報告,單擊“問題”選項卡,然后查找“孤立頁面(沒有傳入的內部鏈接)”錯誤。您還可以使用Ahrefs來查找兩個現有頁面之間的內部鏈接機會。就是這樣:
·轉到站點審核中的內部鏈接機會報告
·輸入與您要添加內部鏈接的頁面相關的關鍵字
·選擇“關鍵字”作為搜索模式
例如,假設Ahrefs寫了一篇關于關鍵詞研究的文章。輸入“關鍵字研究”會在您的網站上找到提及該關鍵字的頁面,并向您顯示上下文。然后,您可以在相關的地方添加內部上下文鏈接?;蛘?,您可以在發(fā)布新頁面時使用頁面資源管理器在頁面文本中搜索以查找要鏈接的潛在頁面。
但是,這些策略都不能用邏輯內部鏈接代替良好的網站結構。這是每個網站都應該優(yōu)先考慮的事情。但是,如果您遇到問題,一種方法是“破解”您的抓取深度并確保您的所有內部頁面都從HTML站點地圖鏈接。
HTML站點地圖是一種HTML頁面,它可以讓用戶更好地了解您的網站結構和更輕松的導航方式。與由不同系統解析的XML站點地圖不同,HTML站點地圖是為用戶制作的。雖然它們有時被認為已成為過去,但它們仍然具有相關性。如果您有一個大型網站,您可能需要考慮將其拆分為一個邏輯結構,因為您不希望從單個頁面鏈接到數以萬計的URL??纯碙inkedIn是如何獲得靈感的。
5.檢查反向鏈接
反向鏈接是谷歌用來決定一個頁面是否有價值和值得抓取的信號之一。如果您的頁面沒有或很少有高質量的反向鏈接,這可能是谷歌“取消優(yōu)先級”抓取的原因之一。獲得更多的反向鏈接可能是所有列出的最難的,但它確實得到了回報。即使是一個有價值的鏈接也可以幫助Google更快地發(fā)現您的內容并將其編入索引。您可以使用AWT免費查看您網站上的任何頁面有多少反向鏈接。
如果您想查看特定頁面,請將其粘貼到Ahrefs的站點資源管理器中并查看概覽報告。如果您想查看哪些頁面有或沒有很多反向鏈接,請在站點資源管理器中輸入您的域并檢查最佳鏈接報告。如果重要頁面很少或沒有反向鏈接,請考慮嘗試構建更多。