最近裝了SlimStat後,才發現原來bot占了不少的流量,其實想要被找到安裝Google Sitemap即可,實在不需要讓這些蟲子爬來爬去。簡單找尋網路上的討論,可分為用robot.txt和.htaccess兩種擋法,記之。

前者請參閱Google的教學,暴力語法如下:

User-Agent:*
Disallow:/

User-agent: *
Allow: /wp-content/uploads/
Disallow: /feed
Disallow: /comments/feed
Disallow: /?p=
Disallow: /?cat=
Disallow: /?page_id=
Disallow: /?feed=

後者請參閱本篇討論

SetEnvIfNoCase User-Agent "^Baidu" bad_bot
SetEnvIfNoCase User-Agent "^sogou" bad_bot
SetEnvIfNoCase User-Agent "^Bloghoo" bad_bot
SetEnvIfNoCase User-Agent "^Scooter" bad_bot
Deny from env=bad_bot

Advertisements

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s

%d 位部落客按了讚: