關於本站的 robots.txt
週五, 2007-10-26 00:20 — dennys
剛看了一下 http://drupaltaiwan.org/robots.txt , 如下, 全部都擋掉了.
User-agent: *
Disallow: /
是否考慮開放 Google 呢? 或者是說, 如果不開放的話, 像百度之類不理會 robots 的可能就得直接從 firewall 擋了.
剛用百度查了一下, 還真的查得到.
Re: 關於本站的 robots.txt
嗯...喵的，怎麼會這樣@@
我在想有可能是某次因為某種原因被主機商改的，我沒改回來，已修正摟。謝謝 dennys！
Re: 關於本站的 robots.txt
建議一下, feed$ 可以擋掉, 不然基本上每篇至少都會有一篇重複的內容.
其他我覺得就見仁見智了, 像我是把 edit, revision, forward, tracker, export html 都擋掉了, 目的是希望盡量每篇文章只讓 search engine 找到一次就好.
然後我也有裝 Global Redirect, 把有 alias 的 node 的文章都統一指到一樣的 url, 像本站應該是有用 pathauto, 也可以考慮一下.
最後就是, 我把 /?q= 也擋了, 其實我後來在想, 應該統統擋掉, 然後開 node, book, forum 就夠了 ^^
Re: 關於本站的 robots.txt
該是個不錯的建議
重複的文章對搜尋引擎的index會有效果上的打折
動態網站本來就應該擋掉一些不需要index的個人資訊頁面的
--
from open mind to open source~
Re: 關於本站的 robots.txt
同意，讚 :)
Re: 關於本站的 robots.txt
插話！嗯！我在討論區發了兩次文章，都沒出現？？
是要經過審核嗎？
Re: 關於本站的 robots.txt
真的耶，怪哉，已經改為發表狀態...
不知道是為什麼耶，不可能去審核滴，沒這種時間啊XD
Re: 關於本站的 robots.txt
剛發現是某模組造成的問題，謝謝回報！