淺談robots.txt的使用技巧

2019-04-12 09:46| 發布者: | 查看: |

  屏蔽隱私頁面,后臺登陸頁面,緩存頁面,圖片目錄,css目錄,模板頁面,屏蔽雙頁面的內容,同時可以屏蔽一些質量比較差的頁面,例如金網的所有會員用戶空間頁面,dz的動態鏈接也可以設置屏蔽。通過Disallow:命令來進行設置。
  每當用戶試圖訪問某個不存在的URL時,服務器都會在日志中記錄404錯誤(無法找到文件)。每當搜索蜘蛛來尋找并不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該在網站中添加一個robots.txt。
  網站管理員必須使搜索引擎機器人程序遠離服務器上的某些目錄,以保證服務器性能。比如:大多數網站服務器都有程序儲存在“cgi-bin”目錄下,因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意,這樣能夠避免所有程序文件都被蜘蛛索引,以達到節省服務器資源的效果。
  一般網站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
  下面是VeryCMS里的robots.txt文件:
  User-agent: *
  Disallow: /admin/ 后臺管理文件
  Disallow: /require/程序文件
  Disallow: /attachment/ 附件
  Disallow: /images/ 圖片
  Disallow: /data/數據庫文件
  Disallow: /template/ 模板文件
  Disallow: /css/ 樣式表文件
  Disallow: /lang/ 編碼文件
  Disallow: /script/腳本文件
  Disallow: /js/js文件
  如果你的網站是動態網頁,并且你為這些動態網頁創建了靜態副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里設置避免動態網頁被蜘蛛索引,以保證這些網頁不會被視為是網站重復的內容。
  robots.txt文件里還可以直接包括在sitemap文件的鏈接。就像這樣:
  Sitemap: http://www.***.com/sitemap.xml
  目 前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,顯然不在這個圈子內。這樣做的好處就是,站長不用到每個搜索引擎的站長工具或者相似的站長部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就會抓取robots.txt文件,讀取其中的sitemap路徑,接著抓取其中相鏈接的網頁。
  合理使用robots.txt文件還能避免訪問時出錯。比如,不能讓搜索者直接進入購物車頁面。因為沒有理由使購物車被收錄,所以你可以在robots.txt文件里設置來阻止搜索者直接進入購物車頁面。
??

seo學院| seo產品| seo案例| 系統教程| 團隊介紹|

<
>
為您提供出眾的seo優化和全面的尊貴服務
式场公式规律中特平码