网赚论坛

标题: 搜索引擎禁止收录robots使用方法 [打印本页]

作者: 1903818370 时间: 2018-1-7 00:48
标题: 搜索引擎禁止收录robots使用方法
有时候，站长并不希望某些页面被抓去和收录，如付费内容，还在测试阶段的页面，复制页面等。网站上不出线连接，或者使用Javesript，FLASH链接使用nofollow等方法都不能保证页面一定不被收录。站长自己虽然没有连接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。

要确保页面不被收录，需要使用robots或meta robots标签。

robots文件，搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots的纯文本文件，robots用于指令搜索引擎禁止抓取网站某些内容或制定允许抓取某些内容。
http://baijiale08.com
http://www.yulecheng098.com
http://www.098bet.com
http://www.yulecheng100.com
http://www.bogou098.com
http://www.098gg.com
http://www.5608.com
http://www.cctv5zb.com
http://806c.com

欢迎光临网赚论坛 (http://www.caifuba.net/)