SEO技术 / SEO skill

做百度SEO优化就要屏蔽google蜘蛛 几种方法谷歌蜘蛛

做百度SEO优化就要屏蔽google蜘蛛 几种方法谷歌蜘蛛

做国内站的盆友们已经不再考虑谷歌的收录和排名了,那么让谷歌蜘蛛抓取会带来一些坏处,七哥的几个服务器都是被谷歌蜘蛛爬宕机,卡死。SEO.HK就被爬宕机好几次,升级了服务器内存,CPU还是卡顿。

百度SEO优化的遇到这种问题就是你的网站响应速度慢了后百度蜘蛛进不来,认为你的网站挂了,多次尝试后还是 不能进来,那么以后百度就不再管你了。

与其留着没用,还这么大的影响!干脆不如把google蜘蛛屏蔽了。

以下是几种屏蔽google蜘蛛及其其他蜘蛛的方法,希望能帮助到你!


1.robots.txt规则文件

大家都知道robots.txt是指引搜索引擎蜘蛛对该网站访问与否的规则,平时运用的也比较多。一般的建议是不论网站是否有需要屏蔽收录的内容,都要在根目录下建立robots.txt文件。

robots.txt文件规则的写法很简单,比如需要屏蔽某一个搜索引擎的蜘蛛访问所有目录,就这样写:


User-agent:Googlebot

Disallow:/

再比如禁止所有蜘蛛访问、抓取某一个目录则:

User-agent:*

Disallow:/admin/


2.robots Meta标签

如果说robots.txt是一个放在网站中的规则文件,那robots Meta就是放在某个网页中的标签。两者的实际功能是大致相同的,但robots.txt是大部分搜索引擎都支持的方式,而后者却是大部分搜索引擎都不支持的。另外相比较下,robots Meta用来对某几个页面单独设置时使用。

robots Meta标签必须存放在“<head>…</head>”代码之内:


<head>

<meta name=”robots” content=”index,follow” />

</head>


这些元标记控制搜索引擎如何抓取和索引页。 "robots"元标记指定的规则适用于所有搜索引擎。Google可以理解以下值(当指定多个值时,用逗号将它们分开):

noindex: 防止网页被索引

nofollow: 不要通过当前页的链接来寻找并抓取新的网页

nosnippet: 在搜索结果中显示当前页时,不要显示页面摘要

noodp: 在为本页产生标题或页面摘要时,不要使用开放式目录项目(又名dmoz.org)中的文本

noarchive: 在显示本网页于搜索结果中时,不要显示一个"网页快照"链接

unavailable_after:[日期]:在指定的日期和时间后从搜索结果中删除这个网页

其中“index”指的是索引,“follow”指的是跟踪链接并传递相应的权重。当然相应的还有“noindex”和“nofollow”,功能则正好相反。


3.服务器配置文件

这种方法是最不常见的屏蔽蜘蛛的方法,主要用于屏蔽那些“不恪守”robots.txt规则的蜘蛛。

方法就是一段时间的分析网站日志,发现需要屏蔽的蜘蛛以及它的ip。然后通过服务器的配置文件将其屏蔽,从而实现屏蔽某一个蜘蛛抓取网站。当然这种方法运用起来并不灵活,比如不能屏蔽蜘蛛单独对某一个文件夹(或网页)的抓取。


4.php代码禁止搜索引擎蜘蛛

if(preg_match("/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|
bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i", $_SERVER['HTTP_USER_AGENT']))

{

 

    header('HTTP/1.1 403 Forbidden');

    exit;

}

可以将上面的代码单独成一个php文件,直接加入口文件中即可。


5.宝塔Nginx防火墙插件 拦截搜索引擎蜘蛛

开启防火墙插件,建议在IP白名单里,把搜索引擎蜘蛛的IP段添加进去。


相关SEO技术

SEO优化不能忽视tag标签聚合页面优化 有效提升网站流量

SEO优化不能忽视tag标签聚合页面优化 有效提升网站流量

许多站长做SEO优化时只注重了常规的SEO优化,而忽视了一个真正能带来流量的TAG聚合页优化。一个网...


黑帽SEO培训:几种常用的黑帽SEO技术方法

黑帽SEO培训:几种常用的黑帽SEO技术方法

提起黑帽SEO,新手觉得似乎很新奇,认为有多少SEO秘诀,SEO高招可以出奇制胜。其实万变不离其宗,...


做百度SEO优化就要屏蔽google蜘蛛 几种方法谷歌蜘蛛

做百度SEO优化就要屏蔽google蜘蛛 几种方法谷歌蜘蛛

做国内站的盆友们已经不再考虑谷歌的收录和排名了,那么让谷歌蜘蛛抓取会带来一些坏处,七哥的几个服务器都...


提升SEO收录排名宝典

提升SEO收录排名宝典

提升SEO收录排名宝典 物以稀为贵,假如多人知道的东西那就不值钱了,很多人每天都更新着苦逼的软文,过...

SEO | 搜索引擎 | 2019-03-14

SEO人员:常用的三种链接建设策略!

SEO人员:常用的三种链接建设策略!

链接建设是SEO工作,最具挑战的策略之一,同时,它也是百度以及其他搜索引擎对网站排名的一个重要因素,...

SEO | 搜索引擎 | 2019-03-14

咨询热线
15618-021-225
在线客服
在线QQ客服 19379458
微信客服号 senleee
官方微信号
华科国际官网 www.seo.hk