通过robots.txt看到网站后台目录

2016-09-09 23:55:00

搜索引擎通过robots.txt文件内容可以识别出青岛网站建设根目录哪些是允许收录的内容，哪些是禁止收录的内容，但是如果黑客直接访问如www.abc/robots.txt直接打开一些敏感目录，如后台目录等，带来极大的安全隐患。

可通过下面几个方法禁止目录被看到：

方法1

假设我们后台目录是 /system/，那么我们可以在设置的时候这样写：

User-agent: *

Disallow: /sys

关键在第二行，这样写就会阻止搜索引擎访问任何以“sys”开头的文件和目录。为了防止别人猜出你的后台目录，这里截取的越短越好，比如：

User-agent: *

Disallow: /d

这样，同样起到作用，但留的字母更少，更难猜了，这时会阻止搜索引擎访问所有以d”开头的文件和目录。

这里我们需要注意的问题是，为了避免影响其它目录的收录，可以修改一下后台目录文件名。如果后台目录以某个字母或几个字母开头，那就避免其它需要被收录的文件或目录以这几个字母开头，这样就可以了。

方法2

后台目录做个首页文件, 跳转到真正的后台首页文件.

比如说, 后台首页是index.php, 而服务器优先index.html

写个index.html文件, 跳转到index.php

index.html文件在<head>中加入

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">,

搜索爬虫就不会继续到该目录下的其他页面了

注：

NOINDEX指令：表示拒绝搜索机器人索引本页，但可跟踪该页上的链接;

NOFOLLOW指令：表示拒绝机器人跟踪本页链接，但可索引本页。

还可以加入，NOARCHIVE：告诉Google不要保存含此标签的网页的快照。

补充：

只是拦截百度蜘蛛爬取网页，而允许其他搜索引擎收录：

允许搜索引擎收录你的网页，但禁止其收录网页上的图片：

如果是linux+apache, 还可以用.htaccess文件限制

这2个方法可以根据自己情况进行使用。

上一篇：LOGO设计，简约而不简单

下一篇：如何防止网站被复制