由于该网站的robots.txt文件存在限制指令
其实这是因为搜索引擎用的抓取程序Spider为了保护网站数据隐私而共同遵守一个叫做Robots协议的东东，网站管理者可以通过Robots告诉搜索引擎某些内容不允许其进行收集。。。出现这种情况说明你的搜索引擎室是负责任的搜索引擎，不想某种叫做360的东西从来都不管Robots协议，自己想要搜就会搜索。。。不过也难怪了，连盗取用户文件的事情都能做，还有什么不敢做呢。。。
标签：robots,txt,指令
版权声明：文章由 M5问答 整理收集，来源于互联网或者用户投稿，如有侵权，请联系我们，我们会立即处理。如转载请保留本文链接：https://www.myit5.com/answer/51756.html
