2018-08-31  165 评论

如何禁止搜索引擎蜘蛛访问我们的网站 ?

阿里云服务器优惠聚集地

在网站没有确定好结构和内容之前,我们的首要任务是需要屏蔽搜索引擎蜘蛛来爬行、抓取网站,这样才可以减少搜索引擎收录网站的可能。有小伙伴会问到为什要这样做呢?因为在建站时我们的网站TKD可能会进行修改,网站结构会进行不断调整,这样时间久了,就会影响搜索引擎蜘蛛的光顾,从而也就不利于网站的SEO。那么,应该如何禁止搜索引擎蜘蛛访问我们的网站?服务器吧小编往下看就知道啦!

禁止搜索引擎蜘蛛访问我们的网站

创建robots.txt文件,并将文件放置在网站根目录下。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

文件的内容如下:

禁止所有搜索引擎访问网站的任何部分:

User-agent: *(网络蜘蛛)

Disallow: / (拒绝)

(在网站没有确定好结构和内容之前,我们就可以使用该书写内容)

举例:

User-agent: baiduspider

Disallow: /文件夹 1/

(禁止百度蜘蛛访问文件夹1)

User-Agent: Googlebot

Disallow: /文件夹 2/

(禁止谷歌蜘蛛访问文件夹2)

当我们网站搭建好并且可以上线时,记得一定需要将robots.txt文件禁止所有蜘蛛访问网站的规则进行修改,不然会导致各大搜索引擎不收录我们的网站,因此也就不会有排名。

robots.txt文件一般只需禁止搜索引擎蜘蛛访问:后台管理文件、程序文件、附件、图片、数据库文件、模板文件、样式表文件、 编码文件、脚本文件等你自己觉得不需要访问的文件。

举例:

Disallow: /admin/(后台管理文件)

Disallow: /require/(程序文件)

Disallow: /attachment/(附件)
Disallow: /images/(图片)

Disallow: /data/(数据库文件)

Disallow: /template/(模板文件)

Disallow: /css/(样式表文件)

Disallow: /lang/(编码文件)

Disallow: /script/(脚本文件 )

以上仅做举例,不同的程序文件名有所差异,需根据你所用程序进行书写。

小编上面介绍的屏蔽搜索引擎蜘蛛访问网站的方法都记住了么?如果有问题,欢迎在下方留言。

给我留言

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: