搜索引擎蜘蛛原理深入剖析
搜索引擎好比总司令，蜘蛛就是他的手下。蜘蛛也分等级，我们就简单分成3个等级，初级蜘蛛(普通士兵)，中级蜘蛛(普通军官)，高级蜘蛛(高级军官)。
我们一直认为搜索引擎蜘蛛很神秘，其实很简单，其原理是。它就相当一个我们有经常用到的采集器，能抓取到你网站的页面，将你网站页面的内容放入自己的数据库，将采集到的结果与数据库原有的信息一一进行匹配，从而判断你文章的原创度。这个过程相当复杂，庞大，需要有非常强大的服务器。我们把文章分成5个等级，人气高度的原创文章等级为5，一般原创文章等级为4，高度伪原创等级为3，依次类推。搜索引擎就将对应的文章放入对应的位置，人气高度的原创文章给予的权重是最高的，从而会给你这个文章的页面带来排名(当然还要经过一些简单的优化，比如做四处一词等)。
搜索引擎整个工作原理就这么简单，那么蜘蛛如果才能来到你的页面呢。前面提到过，蜘蛛分成3个等级，权重高的网站，由高级蜘蛛去负责，这些网站高级蜘蛛来的最勤快，所以给与这些网站的帖子和签名权重高于一般的普通论坛，高级蜘蛛有秒收的权利，所以这就是为什么这些论坛的高质量帖子都能秒收。中级蜘蛛，中级蜘蛛通过你的外链或友情链接等来到你的网站，抓取你网站的内容，然后按照上诉的文章的等级进行划分，放入相对应的数据库，从而在决定收不收录，这个需要一定时间，所以为什么有的站长网站收录和快照有多有少，有快有慢。初级蜘蛛，这类型的蜘蛛基本上都是打酱油的，主要任务是负责新站，负责新站文章的采集，所以这就是为什么新站收录需要时间，因为它对你有个观察期。它得逐级的向上汇报，直到总司令搜索引擎点头同意，在收录你网站。
