查看: 2326|回复: 0

禁止了百度机器人Baiduspider访问我网站了。

[复制链接]

1251

主题

306

回帖

1251

积分

管理员

贡献
97358
金币
8985

马山东

发表于 2013-3-10 16:39 | 显示全部楼层 |阅读模式

马上注册,结交更多好友

您需要 登录 才可以下载或查看,没有账号?立即注册

×
百度总是不收录俺的网站,只收录首页,其它的比如360了,谷歌了,都收录过百了

好吧,俺不用你了,反正俺这个网站木有人用搜索引擎的,基本上木有访问的。
所以。。。。所以。。。。禁止你了,不让你访问了
神马事
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 baiduspider是百度蜘蛛,googlebot谷歌机器人Disallow:后的内容是网站robots.txt文件里禁止搜索引擎抓取的目录

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在本版发帖返回顶部