有些基于SEO的東西總是容易被忽略，比如Robots.txt文件。在seo優(yōu)化的文章中多次提到了關(guān)于Robots.txt文件的重要性。網(wǎng)站優(yōu)化的診斷方法之一是檢查文檔是否制作，是否標(biāo)準(zhǔn)化。如上文所述，如果搜索引擎蜘蛛被禁止進(jìn)入網(wǎng)站的Robots.txt協(xié)議文件，無論你如何優(yōu)化它，它都不會(huì)被收錄在內(nèi)。  

Robots.txt協(xié)議文件寫入  

如果您將Robots.txt協(xié)議文件添加到您的網(wǎng)站并設(shè)置禁止搜索引擎蜘蛛的說明，您的網(wǎng)站內(nèi)容將不會(huì)被爬行，但可能會(huì)被收錄（索引）。  

有些人可能會(huì)有疑問，搜索引擎蜘蛛爬行網(wǎng)址頁面，頁面需要呈現(xiàn)蜘蛛的內(nèi)容反饋，才有可能被收錄。所以，如果內(nèi)容被禁止，會(huì)被收錄在內(nèi)嗎？那是什么意思？?jī)?yōu)幫云在這里沒有解釋這個(gè)問題。

為什么Robots.txt協(xié)議文件禁止之后會(huì)被搜索引擎蜘蛛收錄？  

這里有一個(gè)認(rèn)知錯(cuò)誤，也可能是慣性邏輯思維的錯(cuò)誤思維。每個(gè)人都認(rèn)為蜘蛛不能捕獲內(nèi)容，也不能收錄其中。事實(shí)上，爬行、抓取和索引是不同的概念。很多人在學(xué)習(xí)SEO時(shí)，經(jīng)常混淆一些SEO的概念，導(dǎo)致后續(xù)的SEO優(yōu)化過程中性能不佳。 

或者首先，Robots.txt協(xié)議文件在做什么？因?yàn)樗且粋€(gè)協(xié)議，它必須是一個(gè)雙方都同意和接受的規(guī)則。這A和B自然是網(wǎng)站和搜索引擎（或搜索引擎蜘蛛）之間的協(xié)議。Robots.txt協(xié)議文件將被放置在根目錄中，蜘蛛會(huì)在次進(jìn)入網(wǎng)站時(shí)訪問該文件，然后查看協(xié)議中是否有任何頁面無法爬行，如果被禁止，則不會(huì)再次爬行。  

Robots.txt協(xié)議文件的意義

如果一個(gè)頁面想要被搜索引擎索引（包括），它應(yīng)該被爬行器爬行和爬行。由于未對(duì)其進(jìn)行爬網(wǎng)，因此將理所當(dāng)然地不包括此頁。這樣的想法是錯(cuò)誤的，可以索引而不必抓取。例如，淘寶是一個(gè)典型的案例，該網(wǎng)站添加了一個(gè)禁止協(xié)議，終被收錄。原因是百度從其他渠道平臺(tái)推薦的外部鏈接中了解到了這個(gè)網(wǎng)站。雖然禁止爬行，但可以通過標(biāo)題和推薦鏈接的數(shù)據(jù)判斷與此頁面相對(duì)應(yīng)的內(nèi)容信息。