我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019管家婆最准的资料 > 防爬 >

如何阻止百度baidu爬虫和谷歌蜘蛛抓取网站内容

归档日期:08-30       文本归类:防爬      文章编辑:爱尚语录

  如果不希望百度或 Google抓取网站内容,就需要在服务器的根目录中放入一个 robots.txt 文件,其内容如下:

  这是大部份网络漫游器都会遵守的标准协议,加入这些协议后,它们将不会再漫游您的网络服务器或目录。

  Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

本文链接:http://nomad-bali.com/fangpa/484.html