我們在進行網站優(yōu)化的時候首先會通過網站根目錄放置幾個文件，像robots.txt文件，sitemap.xml文件等等都是為了之后網站優(yōu)化操作時能夠有比較不錯的蜘蛛爬行記錄。同時，我們也發(fā)現(xiàn)很多站點上是不存在robots文件的，所以很多碰喲開始問了，網站到底需不需要制作robots文件呢？或者說robots文件的存在確實必須不可嗎？

    首先我們要了解一下什么是robots文件，其實它也是互聯(lián)網上的一種協(xié)議，我們可以認為是爬蟲協(xié)議，是搜索引擎蜘蛛之間的訪問權限所在，我們認識當搜索引擎蜘蛛進入網站后它第一個爬行的文件不是首頁而是robots文件，當robots沒有時它才會按照網站權重頁面的比例分布來進行探索爬行，所以很多人認為這個文件存在的必要性幾乎為零。但是，如果我們給一個站的鏈接進行了robots，但是百度沖另外的別的站進入了你的這個鏈接依然可以爬行，只有從robots進來的 才有可能不去爬行。如果我們對全站進行了拒絕robots百度爬行，那么，一般來說，只有權重最高的首頁會被收錄標題，但是不會保存快照，其他頁面不會保存標題，但是偶爾會因為某些內部頁面的權重很高，而收錄。

    robots文件，一旦拒絕搜索引擎對頁面進行抓取，就是告訴搜索引擎這個頁面不予許給予抓取，一般來說也是說不給這個頁面權重，一般來說這個頁面是沒有排名的，但是如果有別的網站可以連接到這個頁面，那么搜索引擎則依然會給這個頁面權重。多數(shù)情況下，白帽站點我們是建議在站點中制作 robots文件文件的，而如果是灰帽、黑帽用robots為了獲得更快的全站評分操作就要謹慎使用咯！

     robots文件常見的內容有：User-agent: * （允許哪些蜘蛛進入，后面加*是說所有蜘蛛）；Disallow: 不允許搜索引擎爬行的頁面；Allow: 定義允許搜索引擎收錄的地址以及Sitemap:（后面的內容標注的是網站地圖的路徑）。

    其中我們最常用到的就是不允許抓取和sitemap這個，為的是第一讓搜索引擎不要抓取一些不必要的或者是網站私密性的文件，以免造成網站一些重要信息泄露，尤其是針對谷歌搜索引擎的robots文件這個一定要寫明確了，第二個是為了讓搜索引擎蜘蛛進入網站后能夠首先進入網站地圖來獲得更多的頁面抓取的可能性，增加網站頁面收錄的幾率。所以筆者小丹說這兩個是在robots文件中最常用到的標識了。

    上面說到了robots文件中拒絕搜索引擎爬行頁面，這是為什么呢？其實主要還是為了網站的安全考慮，比如說后臺頁面后者用戶注冊會員頁面，有可能也會形成收錄，會導致形成收錄，會導致內部資源泄露。再者像后臺登陸這樣的頁面本身的頁面質量度是極差的，如果被收錄了很有可能會降到網站頁面的整體評分，得不償失。而robots文件中拒絕了爬行的頁面剩下的頁面就是允許被爬行的，如果我們同時希望搜索引擎能夠主動地爬行某些我們希望的頁面和鏈接，我們可以在這個文件中，主動寫允許爬行的鏈接—Allow:。

     (轉載請注明轉自：m.flw114.cn，謝謝!珍惜別人的勞動成果，就是在尊重自己!）