<em id="vvxpf"></em>

    <noframes id="vvxpf"><form id="vvxpf"></form>
    <address id="vvxpf"></address><address id="vvxpf"><address id="vvxpf"><listing id="vvxpf"></listing></address></address>
    <address id="vvxpf"><form id="vvxpf"><nobr id="vvxpf"></nobr></form></address>

            <form id="vvxpf"><nobr id="vvxpf"></nobr></form>
            robots.txt?協議
            來源:seo知識 日期:2020-10-17 18:56 作者:郭毅峰

            1. 什么是robots.txt?
              robots.txt 是網站和搜索引擎的協議的純文本文件。當一個搜索引擎蜘蛛來訪問站點時,它首先爬行來檢查該站點根目錄下是否存在robots.txt,如果存在,根據文件內容來確定訪問范圍,如果沒有,蜘蛛就沿著鏈接抓取。robots.txt 放在項目的根目錄下。
            2. robots.txt語法
             
               1) 允許所有搜索引擎訪問網站的所有部分
                  robots.txt寫法如下:
                      User-agent:  *
                      Disallow:
                   或者
                     User-agent:  *
                     Allow:  /
             
                  注意: 1. 第一個英文要大寫,冒號是英文狀態下,冒號后面有一個空格,這幾點一定不能寫錯。
             
               2) 禁止所有搜索引擎訪問網站的所有部分
                  robots.txt寫法如下:
                       User-agent:  *
                        Disallow:  /
             
               3) 只需要禁止蜘蛛訪問某個目錄,比如禁止admin、css、images等目錄被索引
                   robots.txt寫法如下:
                         User-agent:  *
                         Disallow:  /css/
                         Disallow:  /admin/
                         Disallow:  /images/
             
                     注意:路徑后面有斜杠和沒有斜杠的區別:比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾,Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關鍵詞的都會被屏蔽
             
                    4)屏蔽一個文件夾/templets,但是又能抓取其中一個文件的寫法:/templets/main
                        robots.txt寫法如下:
                             User-agent:   *
                             Disallow:  /templets
                             Allow:  /main
             
                   5)  禁止訪問html/目錄下的所有以”.php”為后綴的URL(包含子目錄)
             
                          robots.txt寫法如下:
                                User-agent:  *
                                Disallow: html/*.php
             
                    6) 僅允許訪問某目錄下某個后綴的文件,則使用“$”
                         robots.txt寫法如下:
                               User-agent:  *
                               Allow:  .html$
                               Disallow:  /
             
                     7)禁止索引網站中所有的動態頁面
                            比如這里限制的是有“?”的域名,例如index.php?id=1
                            robots.txt寫法如下:
                                    User-agent:  *
                                    Disallow:  /*?*
                     
                  8) 禁止搜索引擎抓取我們網站上的所有圖片(如果你的網站使用其他后綴的圖片名稱,在這里也可以直接添加)
                      有些時候,我們為了節省服務器資源,需要禁止各類搜索引擎來索引我們網站上的圖片,這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外,還 可以采取直接屏蔽圖片后綴名的方式。
                    robots.txt寫法如下:
                         User-agent: *
                         Disallow:  .jpg$
                         Disallow:  .jpeg$
                         Disallow:  .gif$
                         Disallow:  .png$
                         Disallow:  .bmp$
             
             
            寫robots.txt要注意的地方
                   1. 第一個英文要大寫,冒號是英文狀態下,冒號后面有一個空格,這幾點一定不能寫錯。
              2. 斜杠:/ 代表整個網站
              3.如果“/”后面多了一個空格,則屏蔽整個網站
              4.不要禁止正常的內容
              5.生效時間是幾天到兩個月 
            上一篇:偽靜態 下一篇:404錯誤頁面的設置方法詳解
            猜你喜歡
            各種觀點
            熱門排行
            精彩
            高大丰满的俄罗斯少妇_性欧美欧美巨大69_被老头添奶头和下面好爽_车上做好紧我太爽了再快点_皇后夹得真紧h_寡妇和大狼交