robots.txt用法
我能不能這樣寫robots.txt文件,假如我的網站是http://55555555555.com,我不想讓http://666666.com在我的網站上貼廣告,我可以這樣做嗎?
User-agent: *
Disallow: http://666666.com
這樣會有效果嗎?不傳遞PR,或不讓蜘蛛去爬!
********************************************
另外如果成立的話,假如他經常會貼http://666666.com/1.html或是http://666666.com/2.html,那我是不是可以這樣寫
User-agent: *
Disallow: http://666666.com/*
因為我上google好像說robots不支持萬用碼(*)還是說Disallow: http://666666.com就包括全部的網域了!
|