站长必知：各搜索引擎的爬虫UA和禁止抓取的robots写法

这个在神马站长平台里可以看到，禁止抓取特定目录所有搜索引擎写法都一样，在这不单提神马的。

搜狗是比较流氓的，也就它不声明自家的蜘蛛程序：

禁止抓取全站各搜索引擎的写法都一样，我只罗列出各搜索引擎的爬虫：

百度：baiduspider；360：360Spider；谷歌：Googlebot；bing：bingbot。

禁止所有蜘蛛爬虫抓取某一个页面的写法：

<meta name="robots" content="noindex,nofollow" /> 

禁止某一个蜘蛛爬虫抓取某一个页面的写法把name里面的robots改为具体的爬虫名称即可。

更多特殊的禁止抓取方式，大家可访问我之前的文章“盘点竞价手机网页对meta标签的特殊需求”并结合本文了解。

对于不遵守robots规则的爬虫，可以用.htaccess文件来屏蔽它，比如百度：

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^.*Baiduspider.* [NC] 
RewriteRule .* - [F]

如果是Apache服务器，可以修改配置文件httpd.conf：

<Directory "/"> 
... 
SetEnvIfNoCase User-Agent ^.*Baiduspider.* bad_bot 
Order Allow,Deny 
Allow from all 
Deny from env=bad_bot 
... 
</Directory> 

如果是Nginx服务器，可以修改配置文件nginx.conf：

Server{ 
... 
  location / { 
    if ($http_user_agent !~ Baiduspider) { 
      return 403; 
    } 
  } 
... 
}