为什么我们要逆着常理来这样做？
假如你是一个站长，估计你总在千方百计的让你的网站能在搜索引擎里面找到，并且能够在搜索引擎里面排名靠前，但有时，你可能并没登陆过任何搜索引擎，可却莫名其妙的发现可以通过它搜索到你的网站。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被洞察、索引。可能你要求用户验证，但这并不能逃避搜索引擎的搜索，只要在搜索引擎里面搜索到你的这个网页，不用密码照样可以登陆。并且简单的加密经常轻易被攻破。难道使用数据库吗？这不但消耗宝贵网站空间资源，对于一些简单的站点，又无法实现。怎么办呢？搜索引擎不是个瞒不讲理，横行霸道的入室盗贼。如何把搜索引擎拒之门外呢？
探索一下搜索引擎的的原理
首先，我们要知道搜索引擎的工作原理。网络搜索引擎主要由网络机器人(Robot，这个是全文的要害)、索引数据库和查询服务三个部分组成。只要被网页机器人找到的网页，就会在搜索引擎的数据库中建立索引。利用查询客户端，就一定可以找到你的网页。所以下面的要害是研究这个网络机器人。索引数据库和查询服务的原理我们就不具体分析了。
Web Robot其实是种程序，它可以侦测大量Internet网址的超文本结构和网页里的URL连接，递归地检索网络站点所有的内容。这些程序有时被叫“蜘蛛 (Spider)”，“网上流浪汉(Web Wanderer)”，“网络蠕虫(web worms)”或Web crawler。大型的搜索引擎站点(Search Engines)有专门的Web Robot程序来完成这些信息的采集。高性能的Web Root去自动地在互联网中搜索信息。一个典型的网络机器人的工作方式，是查看一个页面，并从中找到相关的要害字和网页信息，例如：标题，网页在浏览器上的Title,还有一些经常被用来搜索的词汇，等等。然后它再从该页面的所有链接中出发，继续寻找相关的信息，以此类推，直至穷尽。网络机器人为实现其快速地浏览整个互联网，通常在技术上采用抢先式多线程技术实现在网上聚集信息。通过抢先式多线程的使用，它能索引一个基于URL链接的Web页面，启动一个新的线程跟随每个新的URL链接，索引一个新的URL起点。把搜索到的信息建立索引，就可以让用户搜索了。呵呵，可能你会想到，这样下去，不是个无限循环呀？当然，机器人也需要休息的，网络机器人是定期发出，完成一个工作时段就结束。所以，刚制作完成的网页，不会马上被收入搜索引擎索引里。说到这里，网络搜索引擎的基本工作原理基本上让大家了解了。指挥这个网络机器人，不让它见门就进，见路就闯，就是接下来的工作了。
逃避搜索引擎的法眼
作为搜索引擎的开发者，同样留给了网络治理员或网页制作者提供了些方法来限制网络机器人的行动：
当robots访问一个网站(比如http://www.chinahtml.com)时，首先会像一个大宅子的生疏访问者一样，先查看查看该宅子是否同意它进入。假如不同意，它就悄然无声的走掉；假如同意，它会看看主人只答应它进入那些房间。网络机器人首先检查该网站中是否存在http://www.chinahtml.com/robots.txt这个文件，假如找不到这个文件，那么，机器人就会横冲直入，查遍它需要查找的信息。假如机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。当然，假如该文件的内容为空的话，那么也就相当于没有找到文件一样，大胆行事。记住 robots.txt文件应该放在网站根目录下。
robots.txt文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,具体情况如下：
User-agent:
该值用于描述搜索引擎robot的名字，不同的搜索引擎是有不同的名字的，在"robots.txt"文件中，假如有多条User-agent记录说明有多个robot会受到该协议的限制，对这个文件来说，假如你需要限制robots，那么至少要有一条User-agent记录。假如该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，" User-agent: * "这样的记录只能有一条。
评论加载中…
 |