从今天开始把百度干掉……[robots]
(4:01) 7月 3rd, 2008 by Hack38
我要禁止的原因就是……
它把我的流量抢光了……
我都快养不起这个网站了……
（原因是柯大前几天打电话问我，怎么在百度又搜不到你的网站了？？？）
但今天突然发现百度又开始收录了……
一不做，二不休，今天直接干掉得了……
robots.txt写法如下，应该是对的……
User-agent: baiduspider
Disallow: /wp/
Allow: /User-agent: *
Disallow:
百度的写法：baiduspider
Google的写法：Googlebot
Google的还有一些……
Googlebot：从我们的网站索引和新闻索引中抓取网页
Googlebot-Mobile针对我们的移动索引抓取网页
Googlebot-Image：针对我们的图片索引抓取网页
Mediapartners-Google：抓取网页确定 AdSense 的内容。 只有在您的网站上展示 AdSense 广告的情况下，我们才会使用此漫游器来抓取您的网站。
Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。 只有在您使用 Google AdWords 为您的网站做广告的情况下，我们才会使用此漫游器。
