一、创建robots.txt文本。
robots.txt文本的文件应该同时包含2个域,“User-agent:”和“Disallow:”,每条指令独立一行。
1.User-agent:
指定允许抓取的蜘蛛,如给出参数,只有指定的蜘蛛能够抓取;如果值为通配符“*”号,代表允许所有蜘蛛抓取。如:
User-agent: Googlebot*,表示只允许Google的蜘蛛抓取;
阅读全文……
首页 | 心情日记 | 建站心得 | 编程技术 | 大盘分析 | 股市信息 | 学习园地 | 电脑技巧 | 物流外贸 | 另类其它 | 站长推荐 | 给我留言 | 相册 |
|
|
CopyRight © 2008-2010 广东金融学院030904班 All Rights Reserved |