蜘蛛可以分为三种:初级蜘蛛、中极蜘蛛和高级蜘蛛,三种蜘蛛分别有不同的功能和权限。
初级蜘蛛一般只去新站,而且爬行速度很慢,当它抓取到网页后,会分级进行爬行。当第一级提交到搜索引擎数据库,并被认可为有价值以后,蜘蛛才会再次光顾,在对第二级进行爬行提交。
中级蜘蛛会从外链爬行到你的网站,然后抓取网站内容,再对数据库已有内容对比,如有价值高的内容,就很容易被采集,能够有效提高网站权重。
高级蜘蛛只会去权重高的网站,而且高级蜘蛛的速度非常快,他有一种能力是秒收。所以在权重高的论坛发帖很快就能被搜索引擎收取。高级蜘蛛的爬行深度和采访频率也非常高,基本所有链接页面都会爬行,并且基本每天都会来访。
蜘蛛爬行分为两种方式,一种是深度优先,一种是广度优先。
深度优先就是到达一个页面后,发现一个链接,就爬进去到另一个页面,然后再次发现链接,继续爬进去,直到爬完所有网页。
广度优先就是到达一个页面后,发现链接并不进去,而是爬行完所有页面后,再统一进入所有链接的另一个页面,直到爬行完整个网站。