太原網站優化今天與您分享下一個網站的robots.txt文件的正確書寫方法：

    首先需要說明一下，robots.txt只是一個純文本文件，用記事本編輯就可以了。它位于網站根目錄下，網站管理者在這里聲明該網站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內容。當搜索蜘蛛訪問一個站點時，它先檢查該網站的根目錄中是否存在robots.txt文件，如果存在，搜索蜘蛛就會按照該文件中的內容規則來確定訪問的范圍；如果該文件不存在，那么搜索機器人將會沿著鏈接抓取全部網頁。另外，robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

    關于robots.txt的正確寫法，我們來看一個robots.txt實例：
    # Robots.txt file from http://www.nwicd.com 
    # All robots will spider the domain 
    User-agent: * 
    Disallow:

    以上內容的意思是允許所有的搜索機器人訪問http://www.nwicd.com 網站下的所有文件。

    具體語法說明：#后面文字為說明信息；User-agent:后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人；Disallow:后面為不允許訪問的文件目錄。

    接著，列舉一些robots.txt的具體用法：
    允許所有的robot訪問 
    User-agent: * 
    Disallow: 
    或者也可以建一個空文件 “/robots.txt” file

    禁止所有搜索引擎訪問網站的任何部分 
    User-agent: * 
    Disallow: /

    禁止所有搜索引擎訪問網站的幾個部分（下例中的database、admin目錄） 
    User-agent: * 
    Disallow: /database/ 
    Disallow: /admin/

    禁止某個搜索引擎的訪問（下例中的BadBot） 
    User-agent: BadBot 
    Disallow: /

    只允許某個搜索引擎的訪問（下例中的Crawler） 
    User-agent: Crawler 
    Disallow: 
    User-agent: * 
    Disallow: /

本文地址：http://www.nwicd.com/infonews/615.html

文章標題：太原網站優化seo入門篇：網站robots.txt怎么寫才是正確的？ (點此復制 -分享給好友)