许多人以为Google索引了互联网上的一切。不过，Google或许是我们所拥有的最好的搜索引擎，但是， Google所索引的互联网上的资源远比我们想象的要少得很多。根据Google首页面提供的数据，目前，它索引了3,083,324,652个页面，而据估计，实际上在互联网上有达100亿只夺得页面存在。我们不仅要问， 那些被Google省却的页面都是什么呢？
现在，我们碰到了一个难以提出的问题。假如我们想真实的知道Google到底遗漏了些什么，那我们必须要有一个比Google公司的能力更为强大的索引能力。在我们的此项研究中，作为理解Google索引了什么和遗漏了什么的开端，我们选取了"googlology"这样一个词来追踪, ’Goolology’是Webmaster World在2002年10月第十二期第一次提出来的，续而作为一个词在Microdoc News的前身站点Google Village上被使用，到2003年5月10日，通过Google的查询，该词意共出现在655个页面。然后，我们开始在互联网上到处搜索所有包含有 "googlology"的页面，作为我们首次探究Google究竟遗漏了那些的实例，我们发现，"googlology"这个词在当前实际所出现的页面数目要比Google列出的要多。
Google从它的数据库中的总共655个页面中列出了624个页面的索引。我们抓取了那些链接的screen-scraped，把它们放入我们的文本数据库中。我们的研究人员设置了WebWolf?，让这个桌面“爬虫”在互联网上工作了两个星期来猎取那些包含有"googlology"的页面。我们将网络上多达220,000个链接的Blogging新闻标题作为出发点；我们的爬虫从那里开始，跟随着一个又一个链接，直到它能在互联网上寻遍 "googlology"这个词。
在两个礼拜的搜索之后，我们找到了2,199个页面包含"googlology"这个词。这也就意味着Google只索引了所有包含有 "googlology"这个词的页面的29%。我们发现，另外的1,544包含有"googlology"的页面在Google的数据库中不存在。我们不尽要问，那些抡有被Google索引的页面都是哪些？它们都来自那种类型的站点？
Microdoc News使用了一个mapping工具来分析我们在搜索中创建的数据库。所有包含有"googlology" (2,199个)的页面用最外圈的犗黑线椭圆被标绘在我们的映射图上。这个大的椭圆里面的整个区域代表那些包含有"googlology"的所有页面。我们对这些页面按照下面的七类进行归类：
Blog页面
教育类页面
主流媒体站点的页面
新闻，信息和目录页面
Junk
Other database by Google
Other not-databased by Google
结果显示在下面这种映射图中。它为我们提供了一个包含有"googlology"，但抡有被Google索引的页面的可视化图景。图中红艊区域标绘了哪些包含有"googlology"，并且所有被Google索引的624个页面。
正如你所看到的，大约有一半左右包含有"googlology"的blog页面被Google索引，包含有"googlology"的教肊类站点页面中，约有37%被Google索引，类似的，主流媒体站点类页面中，29%被索引，News, Information and Directories类页面中大概是45%，junk站点类中，例如Geocities和其他类似的站点，约有8%被索引。
那些被Google数据库所遗漏的页面，看来多是那些用到该术语比较早的页面，例如2002年12月以前，在那里我们发现多达153个包含有该词的教肊类站点页面（它们引用到Webmaster World对该术语的使用），它们没有被Google索引。同样，也有许多在2月到3月之间的blog页面（它们引用到Google Village站点）和许多Microdoc News页面抡有被Google索引。我们还发现在在CNet?、ZDNet?和类似BBC、Siemens和其他媒体类站点的包含有该词的页面没有被列在Google中。
根据这些以及我们对数据的进一步分析，要是我们真的把对"googlology"这个词的分析的结果应用到所有的其他词去，那么，我们能得到这样一些试验性的结论：
评论加载中…
 |