搜索引擎蜘蛛程序，其实就是搜索引擎的一个主动应用程序，它的作用是什么呢？其实很简单，就是在互联网中浏览信息
上海做网站网站，然后把这些信息都抓取到搜索引擎的服务器上，然后建立索引库等等，我们可以把搜索引擎蜘蛛当做一个用户，然后这个用户来访问我们的网站，然后在把我们网站的内容保存到自己的电脑上！
△从互联网上抓取网页
行使能够从互联网上主动收集网页的Spider系统程序，主动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。
网页搜集，其实就是大家常说的蜘蛛抓取网页。那么对于蜘蛛（google称之为机器人）来说，他们感爱好的页面分为三类：
1.蜘蛛从未抓去过的新页面。
2.蜘蛛抓取过，但页面内容有改动的页面。
3.蜘蛛抓取过，但现在已删除了的页面。
蜘蛛是怎么来的呢？针对于此，各方有各方的观点。有一种说法，说蜘蛛的抓取是从种子站（或叫高权重站），依照权重由高至低逐层出发的。另一种说法蜘蛛 爬在URL荟萃中是没有显明先后顺序的，搜索引擎会根据你网站内容更新的规律，主动计算出何时是爬取你网站的好佳时机，然后进行抓取。其实对于不同的搜索引擎，其抓掏出发点定然会有所区别，针对于 ，笔者较为倾向于后者。在 官方博客发布的《索引页链接补全机制的一种办法》一文中，其明确指出“spider会尽量探测网页的发布周期，以合理的频率来检查网页”，由此我们可以推断，在 的索引库中，针对每个URL荟萃，其都计算出适合其的抓取时间以及一系列参数，然后对响应站点进行抓取。
△建立索引数据库
搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料好新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。
△在索引数据库中搜索排序
真正意义上的搜索引擎，通常指的是收集了因特网上几万万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索效果被搜出来。在经过复杂的算法进行排序后百度优化，这些效果将按照与搜索关键词的相关度
真正意义上的搜索引擎，通常指的是收集了因特网上几万万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索效果被搜出来。在经过复杂的算法进行排序后，这些效果将按照与搜索关键词的相关度高低，依次排列。
838821345
沪公网安备：31011402002917号