方法通过r协议文件屏蔽搜索引擎为了快速增长，网站源码不惜改变战略，重新布局产品，从而获得意想不到的效果。
r协议(也称为爬虫协议机器人协议等)，全称是网络爬虫排除标准(r e p)，网站通过协议文件告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。当个搜索引擎蜘蛛访问个站点时，它会首先检查该站点根目录下是否存在文件，如果存在，搜索机器人会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。因此，如果我们不希望搜索引擎抓取网站时，可以通过来屏蔽掉搜索引擎蜘蛛，具体的使用方法请参考百度百科词条协议
方法二通过文件屏蔽搜索引擎
每个搜索引擎的爬虫都有自己的u-a，通过u-a告诉别人自己的身份信息，因此，我们可以用文件来屏蔽某个(某些)u-a的访问来达到屏蔽某个(某些)搜索引擎爬虫抓取网站。
本文由百度爬虫整理，此文观点不代表本站观点