ad_728x90

參觀我的【 伊生活小舖】

2013年7月7日 星期日

撰寫robots.txt,了解spider搜尋引擎的運作...

    robots.txt 基本寫法認識 :
User-agent: *(搜尋引擎spider小蜘蛛名稱,*號代表全部搜尋引擎)
Disallow: /(Disallow:不允許搜索,/為檔案位置)
範例一:允許所有搜尋引擎spider小蜘蛛來訪問:
User-agent: *
Disallow:  (Disallo:代表不允許,而後面空白,整段語法的意思代表允許)
或可以這麼寫:
User-agent: *(*號代表全部搜尋引擎)
Allow: /(Allow:代表允許,而後面/,整段語法的意思代表允許訪問您網站底下所有的資料)
範例二:僅允許Googlebot訪問您的網站



User-agent: Baiduspider
Disallow:
或者:


User-agent: Baiduspider
Allow: /
範例三:禁止搜尋引擎訪問站內某些檔案:


User-agent: *
Allow: /01/(禁止外帶/01/目錄底下的所有檔案)
範例四:禁止搜尋引擎外帶所有圖片:


User-agent: *
Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$



COMMENTS HAVE BEEN DISABLED FOR THIS POST [文章的評論已被禁用]

Ratings and Recommendations by outbrain