最近裝了SlimStat後,才發現原來bot占了不少的流量,其實想要被找到安裝Google Sitemap即可,實在不需要讓這些蟲子爬來爬去。簡單找尋網路上的討論,可分為用robot.txt和.htaccess兩種擋法,記之。

前者請參閱Google的教學,暴力語法如下:

User-Agent:*
Disallow:/

User-agent: *
Allow: /wp-content/uploads/
Disallow: /feed
Disallow: /comments/feed
Disallow: /?p=
Disallow: /?cat=
Disallow: /?page_id=
Disallow: /?feed=

後者請參閱本篇討論

SetEnvIfNoCase User-Agent "^Baidu" bad_bot
SetEnvIfNoCase User-Agent "^sogou" bad_bot
SetEnvIfNoCase User-Agent "^Bloghoo" bad_bot
SetEnvIfNoCase User-Agent "^Scooter" bad_bot
Deny from env=bad_bot

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 變更 )

Twitter picture

You are commenting using your Twitter account. Log Out / 變更 )

Facebook照片

You are commenting using your Facebook account. Log Out / 變更 )

Google+ photo

You are commenting using your Google+ account. Log Out / 變更 )

連結到 %s

%d 位部落客按了讚: