兄弟的博客-【兄弟波段趋势操盘】-如何屏蔽搜索引擎的蜘蛛抓取 -

海外邮件中继，海外退信中继，美国高速VPS，不限流量VPN，邮局维护和管理，邮件网关，EMOS邮件中继，POSTFIX邮件中继，Winwebmail邮件中继,Winmail邮件中继,DBMail邮件中继,JDMail邮件中继,Exchange邮件中继,MDaemon邮件中继淘宝店：http://shantan.taobao.com 云邮科技官网：www.yunrelay.com

【字体设置：大中小】
一、创建robots.txt文本。
     robots.txt文本的文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
     1.User-agent:
     指定允许抓取的蜘蛛，如给出参数，只有指定的蜘蛛能够抓取；如果值为通配符“*”号，代表允许所有蜘蛛抓取。如：
     User-agent: Googlebot*，表示只允许Google的蜘蛛抓取；
     User-agent: *，则表示允许所有蜘蛛抓取。
     注意：User-agent必须出现在第一行（有意义的行，注释除外），用以首先声明用户代理。
     2.Disallow:
     指定禁止蜘蛛抓取的目录或文件，如：
     Disallow: /help.php，表示禁止抓取根目录下help.php文件；
     Disallow: /admin/，表示禁止抓取根目录下的admin子目录中任何内容；
     Disallow:，值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
     Disallow: /，表示禁止蜘蛛抓取根目录下的所有内容。
     如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。
     二、robots Meta标签。
     robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，用于部分网页需要单独设置的情况，两者的功能是一样的。
     Meta robots标签必须放在<head>和</head>之间，格式：
     <meta name=”robots” content=”index,follow” />
     content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
     index,follow：允许抓取本页，允许跟踪链接。
     index,nofollow：允许抓取本页，但禁止跟踪链接。
     noindex,follow：禁止抓取本页，但允许跟踪链接。
     noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
     以上第一条和第四条还有另一种写法：
     index,follow可以写成all，如：
     <meta name=”robots” content=”all” />
     noindex,nofollow可以写成none，如：
     <meta name=”robots” content=”none” />
     需要注意的是，很多搜索引擎是不支持robots Meta标签的，只有少数搜索引擎能够识别并按给定的值抓取。所以，建议您尽可能的使用robots.txt文件来限制抓取。

香香公主于 2010-11-01 15:27:08 发表评论：

学习

jiagqiagxu 于 2010-10-30 15:30:04 发表评论：

学习了。

牛呀牛于 2010-10-30 14:37:21 发表评论：

Thanatus 于 2010-10-30 07:07:20 发表评论：

楼上的兄弟说的有道理。。纯顶。。

weirz 于 2010-10-29 23:15:10 发表评论：

这个有些高深，非兄弟那样博学所以看不懂，纯顶了

发表评论 - 不要忘了输入验证码哦！

作者：

用户：密码：我要注册验证码：
为防止广告注册机程序,验证码不会自动显示,请点击此处显示或者(刷新)验证码!

评论：

禁止表情
禁止UBB
禁止图片
识别链接
识别关键字
确定发布？


最多可以输入200个字,目前你已经输入了0个字;你今日还可以发表10条评论!