在網站建設的時(shí)候，因爲一些操作，導緻正常的網站無法被搜索引擎爬蟲訪問，進(jìn)而使搜索引擎認爲該頁面(miàn)是死鏈接。除了頁面(miàn)無法打開(kāi)，一下的幾個點都(dōu)可以導緻網站死鏈的産生。

以下卓培科技小編就(jiù)給出一些死鏈的産生情況，本次文章素材來自百度公開(kāi)課搜索引擎課程，具備相對(duì)的權威性。其他搜索引擎同樣可以參考該篇文章來進(jìn)行設置。

減少死鏈的産生，是從事(shì)SEO工作工作者必修課。

HTTP/HTTPS設置不當引起(qǐ)死鏈

問題場景：

1.HTTP可訪問 ，HTTPS不可訪問

2.HTTP不可訪問 ，HTTPS可訪問

建議：

整站行爲一緻，保證所有的URL正常訪問，另外百度方面(miàn)不建議HTTP與HTTPS共生。

封禁引起(qǐ)死鏈

問題場景：

1.用戶可以正常訪問，爬蟲不能(néng)。(爬蟲抓取的是錯誤的頁面(miàn))

一些網站因爲特殊性，導緻用戶可以正常訪問，但是當爬蟲訪問時(shí)，卻返回一個錯誤的頁面(miàn)。

2.PC端可訪問，搜索引擎APP不能(néng)訪問

搜索引擎爬蟲可以訪問PC端頁面(miàn)，但是不能(néng)訪問APP。百度官方的公開(kāi)課說(shuō)到這(zhè)個APP訪問，暗指是支持APP内訪問的一個分析，來作爲一個綜合評估參考。所以，不屏蔽百度APP對(duì)網站的訪問。

3.DNS封禁

有些特定的DNS服務商會(huì)封禁搜索引擎爬蟲來抓取域名的内容。這(zhè)種(zhǒng)在少數，畢竟目前主流域名廠商，已經(jīng)主流的DNS廠商都(dōu)沒(méi)有做DNS封禁。

4.服務器站點策略封禁

有些服務器自帶的安全策略會(huì)屏蔽百度蜘蛛的抓取，這(zhè)種(zhǒng)情況會(huì)産生死鏈(網頁URL鏈接，但是無内容)。當這(zhè)種(zhǒng)情況在整個網站出現，會(huì)導緻搜索引擎判斷網站爲一個劣質網站。會(huì)被降權。

建議：

合理的使用站長(cháng)資源工具，來診斷站點是否能(néng)正常抓取

識别百度爬蟲(雙向(xiàng)DNS解析認證)解除封禁

對(duì)spider不公開(kāi)内容設置robots協議封禁/設置死鏈，導緻返回404

不建議使用額外的技術手段封禁百度爬蟲。

對(duì)百度APP可以訪問

DNS變更引起(qǐ)死鏈

問題場景：

站點更新DNS解析，將(jiāng)域名的IP變更，IP1變爲IP2，中間有時(shí)間差。

當站點的更換域名解析的IP後(hòu)，因爲有些DNS并不能(néng)做到立即響應解析(一般爲24小時(shí))。我們拿24小時(shí)爲例，中間有曾時(shí)間差，導緻搜索引擎蜘蛛無法抓取，會(huì)評定爲死鏈。

這(zhè)個時(shí)候可以預留4-5天的緩存期，讓爬蟲來更新這(zhè)個DNS

建議：

更換DNS後(hòu)，使用站長(cháng)資源平台工具來抓取測試，查看網站是否能(néng)正常抓取。

不建議頻繁更換DNS的IP，如必須變更請，給爬蟲抓取預留緩沖時(shí)間。