如何禁止搜索引擎蜘蛛访问我们的网站 ？

在网站没有确定好结构和内容之前，我们的首要任务是需要屏蔽搜索引擎蜘蛛来爬行、抓取网站，这样才可以减少搜索引擎收录网站的可能。有小伙伴会问到为什要这样做呢？因为在建站时我们的网站TKD可能会进行修改，网站结构会进行不断调整，这样时间久了，就会影响搜索引擎蜘蛛的光顾，从而也就不利于网站的SEO。那么，应该如何禁止搜索引擎蜘蛛访问我们的网站？跟服务器吧小编往下看就知道啦！

创建robots.txt文件，并将文件放置在网站根目录下。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

文件的内容如下：

禁止所有搜索引擎访问网站的任何部分：

User-agent: *（网络蜘蛛）

Disallow: / （拒绝）

（在网站没有确定好结构和内容之前，我们就可以使用该书写内容）

举例：

User-agent: baiduspider

Disallow: /文件夹 1/

（禁止百度蜘蛛访问文件夹1）

User-Agent: Googlebot

Disallow: /文件夹 2/

（禁止谷歌蜘蛛访问文件夹2）

当我们网站搭建好并且可以上线时，记得一定需要将robots.txt文件禁止所有蜘蛛访问网站的规则进行修改，不然会导致各大搜索引擎不收录我们的网站，因此也就不会有排名。

robots.txt文件一般只需禁止搜索引擎蜘蛛访问：后台管理文件、程序文件、附件、图片、数据库文件、模板文件、样式表文件、 编码文件、脚本文件等你自己觉得不需要访问的文件。

举例：

Disallow: /admin/（后台管理文件）

Disallow: /require/（程序文件）

Disallow: /attachment/（附件）
Disallow: /images/（图片）

Disallow: /data/（数据库文件）

Disallow: /template/（模板文件）

Disallow: /css/（样式表文件）

Disallow: /lang/（编码文件）

Disallow: /script/（脚本文件 ）

以上仅做举例，不同的程序文件名有所差异，需根据你所用程序进行书写。

小编上面介绍的屏蔽搜索引擎蜘蛛访问网站的方法都记住了么？如果有问题，欢迎在下方留言。