1、Robots协议
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。
2、Robot是什么？
Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
3、robots文件的存放位置放在网站的根目录下
4、robots文件写法的格式与参数说明
如下图
5、robots文件中常用的通配符说明
6、robots文件写法参考
