SEO术语词汇

搜索引擎蜘蛛



搜索引擎蜘蛛基本概述

搜索引擎蜘蛛即Search Engine Spider,是一个很形象的名字。把互联网比喻成一张蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网,那么搜索引擎蜘蛛就可以用这个原理把互联网上所有节点的网页都抓取下来。

由于互联网上无数的网站页面,搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此,许多搜索引擎的网络蜘 蛛只是抓取那些重要的网页,而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度(及外部链接的数量与质量)。

抓取网页策略

在抓取网页的时候,搜索引擎蜘蛛一般有两种策略:广度优先和深度优先(如下图所示)。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中 的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让搜索引擎蜘蛛并行处理,提高其抓取速度。深度优先是指搜索引擎蜘蛛会从 起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。两种策略的区别,下图的说明会更加明确。由于不可能抓取所有的网页,有些搜索引擎蜘蛛对一些不太重要的网站,设置了访问的层数。例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1 层,G、H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索 到,另外一部分不能被搜索到。 对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

访问网站权限

搜索引擎蜘蛛在访问网站网页的时候,经常会遇到加密数据和网页权限的问题,有些网页是需要会员权限才能访问。当然,网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取,但对于一些出售报告的网站,他们希望搜索引擎能搜索到他们的报告,但又不能完全免费的让搜索者查看,这样就需要给搜索引擎蜘蛛提供相应的 用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供相应的权限验证。



上一篇: 搜索引擎算法

下一篇: SEO顾问

相关SEO术语词汇

avatar

搜索引擎排名

搜索引擎排名指搜索引擎派出一个能够在网上发现新网页并抓取文件的程序,这个程序通常被称为蜘蛛(spider)或者机器人(robot)。搜索引擎蜘蛛从数据库中已知的网页开始出发,就像正常用户的浏览器一样访问这些网页并抓取文件。对搜索词进行处理后...

avatar

搜索引擎优化

SEO(Search Engine Optimization):汉译为搜索引擎优化。是一种方式:利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名。目的是让其在行业内占据领先地位,获得品牌收益。很大程度上是网站经营者的一种商业行为,将自己...

avatar

搜索引擎推广

搜索引擎推广是通过搜索引擎优化,搜索引擎排名以及研究关键词的流行程度和相关性在搜索引擎的结果页面取得较高的排名的营销手段。搜索引擎优化对网站的排名至关重要,因为搜索引擎在通过Crawler(或者Spider)程序来收集网页资料后,会根据复杂...

avatar

搜索引擎营销

搜索引擎营销:英文Search Engine Marketing ,我们通常简称为“SEM”。简单来说,搜索引擎营销就是基于搜索引擎平台的网络营销,利用人们对搜索引擎的依赖和使用习惯,在人们检索信息的时候将信息传递给目标用户。搜索引擎营销的...

avatar

seo服务

SEO服务是指通过对搜索引擎对搜索结果的搜索排名技术的掌握,以客户标的网站为基础,利用搜索优化技术SEO对网站进行相应的优化维护,从而使标的网站对搜索引擎更加友好,进而提高网站各类网页在搜索引擎相关关键词搜索结果页面中的排名,进而为企业带来...

华科精品服务

是你在营销推广、品牌树立、产品优化中不可或缺的!

咨询热线
15618-021-225
在线客服
在线QQ客服 19379458
微信客服号 senleee
官方微信号
华科国际官网 www.seo.hk