快捷导航

什么是robots.txt

[复制链接]
查看: 1301|回复: 0

8万

主题

8万

帖子

26万

积分

论坛元老

Rank: 8Rank: 8

积分
260116
发表于 2020-11-15 00:00:00 | 显示全部楼层 |阅读模式
在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么。

但是我们需要注意的几点:

1.robots.txt必须存放在网站的根目录下。

2.其命名必须为robots.txt

3.Robots.txt是搜索引擎访问网站的第一个页面

4.Robots.txt中必须指明user-agent

(责任编辑:网络)
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

精彩推荐

让创业更简单

  • 反馈建议:XXXXXXXX
  • 客服电话:暂时没有
  • 工作时间:周一到周五9点~22点

云服务支持

黑客联盟,快速搜索

关注我们

Copyright 黑客论坛  Powered by©  技术支持: