1、User-agent:*允许所有搜索引擎抓取(注意每个":"后面的描述都是在加上空格之后的，User-agent:空格*)Allow:/允许抓取
2、Disallow:/admin/后台管理文件
3、Disallow:/require/程序文件
4、Disallow:/attachment/附件
5、Disallow:/images/图片
6、Disallow:/data/数据库文件
7、Disallow:/template/模板文件
8、Disallow:/css/样式表文件
9、Disallow:/lang/编码文件
10、Disallow:/script/脚本文件
1、禁止所有搜索引擎访问网站的任何部分 ：
User-agent: *
Disallow: /
2、允许所有的robot访问：
User-agent: *
Disallow: 或者
User-agent: *
Allow: /
3、仅禁止Baiduspider访问您的网站：
User-agent: Baiduspider
Disallow: /
仅允许Baiduspider访问您的网站：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
4、禁止spider访问特定目录：（需要注意的是对每一个目录必须分开声明，而不能写成
"Disallow: /cgi-bin/ /tmp/"）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
5、允许访问特定目录中的部分url：
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6、使用"*"限制访问url：
User-agent: *
Disallow: /cgi-bin/*.htm
7、使用"$"限制访问url：
User-agent: *
Allow: .htm$
Disallow: /
8、禁止访问网站中所有的动态页面：
User-agent: *
Disallow: /*?*
9、禁止Baiduspider抓取网站上所有图片：（若是某一张图片，就是指到对应的图片路径和名称即可）
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
10、仅允许Baiduspider抓取网页和.gif格式图片：
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
仅禁止Baiduspider抓取.jpg格式图片：
User-agent: Baiduspider
Disallow:
