如何使用ETag增加百度收录效率?(附ETag配置教程) - 网站地图

当前路径:整站地图 > 如何使用ETag增加百度收录效率?(附ETag配置教程) 内容_Archiver

提起向百度提交数据,大家基本都会想到sitemap,最近又推出的etag是什么东东?真的能有效果吗? sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。 在我们的sitemap配置了ETag之后,对日志一段时间的监测发现,其sitemap响应时间以及耗时的平均时间均大幅度下降,爬虫访问sitemap文

主要内容:

提起向百度提交数据,大家基本都会想到sitemap,最近又推出的etag是什么东东?真的能有效果吗?

sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。

在我们的sitemap配置了ETag之后,对日志一段时间的监测发现,其sitemap响应时间以及耗时的平均时间均大幅度下降,爬虫访问sitemap文件的次数有所增加,对于收录而言,通过图表也能看出相对的增长曲线,我们的整体收录率大致提升范围在2% – 5%左右。所以在此,强烈建议大家设置sitemap的ETag,简简单单的一个小动作就能看到相对明显的效果还是很不错的。

ETag全称EntityTags,HTTP协议规格说明中定义“ETag”为“被请求变量的实体值”。我们也可以把ETag理解为是一个客户端与服务器关联的记号。这个记号告诉客户端,当前网页在上次请求之后是否有发生变化,当发生变化时,ETag的值重新计算,并返回200状态码。如果没有变化,返回304状态码。从而不会重新加载整个页面信息。

如下,是我司站点的sitemap文件的头信息:

ETag是什么 ETag标准 ETag响应头 httpETag

我们看到,ETag中包含了一连串的数据,这就是计算出来的一个值,如果它发生变化,说明其页面内容一定发生了变化。如果页面没有发生变化时,头信息应该如下: 

ETag是什么 ETag标准 ETag响应头 httpETag

在我们与技术沟通配置ETag时,需要通过此种方式进行验证。第一次访问200状态码,有ETag的一行文本,再次访问该页面时,状态码为304,ETag的值不变。至此,我们就可以确定ETag配置成功。

另外,sitemap启用Etag后:

1、百度可以更及时地响应sitemap的更新;

2、页面没有更新的情况下,对流量的消耗极小;

3、百度更加及时的抓取sitemap,便于更好的收录;

但多数情况下,ETag会与Last-Modified一起使用,这样可利用客户端(例如浏览器)的缓存。因为服务器首先产生Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。

站点服务器如何配置ETag?

最好是对全站进行配置ETag,这样对于站点而言,在带宽消耗、爬虫抓取上的提升还是会有很大收益的。

一、Apache  

Apache根据配置文件中的配置来设置Etag值,默认的Apache的FileEtag设置为:

FileEtagINode Mtime Size

也就是根据这三个属性来生成Etag值,他们之间通过一些算法来实现,并输出成hex的格式,相邻属性之间用-分隔,比如:"2e681a-6-5d044840",这里面的三个段,分别代表了INode,MTime,Size根据算法算出的值的Hex格式,可以改变Apache的FileEtag设置,比如设置成FileEtagSize,那么得到的Etag可能为:"6",设置了几个段,Etag值就有几个段。

详细配置:

步骤1

在要启用ETag的目录下增加.htaccess文件并在其中增加一行,如图:FileETagMTime Size

ETag是什么 ETag标准 ETag响应头 httpETag

以覆盖默认的Innode MTime Size的ETag,因为默认的ETag使用到的Innode会导致相同的文件在分布式服务器上产生的ETag不同。

步骤2

如果.htacces文件已经存在,请确保要启用ETag的目录/.htacces文件中没有FileETagNone。如果存在FileETag None,请删去该行。

检查没有用mod_headers将ETag除去,即httpd.conf文件中没有出现下面的语句,

LoadModuleheaders_module modules/mod_headers.so 

Headerunset ETag

ETag是什么 ETag标准 ETag响应头 httpETag

如果出现如图情况,请删除Headerunset ETag这一行。

步骤3

重新启动httpd,就启用ETag了。

二、Nginx

步骤1

确认Nginx版本,命令:Nginx安装目录/sbin/nginx–v,

ETag是什么 ETag标准 ETag响应头 httpETag

版本为1.7.3及更高,继续步骤2;版本为1.7.3以下,1.3.3及以上,进行步骤3;版本为1.3.3以下,不支持ETag,请升级您的Nginx。

步骤2

确认没有关闭ETag:打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/),确保其中没有出现etagoff;,下图为出现的情况,请将此行删除。

ETag是什么 ETag标准 ETag响应头 httpETag

确认没有使用ngx_headers_more清除ETag头:同样在配置文件中不能出现如下语句的任意一句,如果出现请将其删除。

ETag是什么 ETag标准 ETag响应头 httpETag

重新启动Nginx,就启用ETag功能了。

步骤3

查看是否开启了gzip,且是否和etag出现冲突,出现冲突去步骤4,没有去步骤2。

打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/),其中出现gzip on;语句证明开启了gzip,如图

ETag是什么 ETag标准 ETag响应头 httpETag

开启gzip时,可能与etag出现冲突,用浏览器多次请求此网站的静态元素,如果只返回200,不返回304,证明存在冲突,请去步骤4;没有冲突去步骤2。

 

步骤4

请关闭gzip,即将上一步中的gzipon;改为gzip off;然后去步骤2。

若不想关闭gzip,并要开启ETag,同时仍要坚持使用当前的Nginx版本,只能修改源码并重新编译。

下载此版本安装包并解压,将其目录下/src/http/modules/ngx_http_gzip_filter_module.c

文件中约309行左右的ngx_http_clear_etag(r);一行注释掉或删掉。如下图

ETag是什么 ETag标准 ETag响应头 httpETag

如果没有找到ngx_http_clear_etag(r);而是发现ngx_http_weak_etag(r);如下图,证明此Nginx

没有gzip和etag冲突的问题,不必进行任何修改。

ETag是什么 ETag标准 ETag响应头 httpETag

重新编译源码安装Nginx,解决这个冲突,然后去步骤2。

三、IIS

IIS7是默认开启ETag的,如果没有ETag,请按以下步骤设置。

打开Internet Information Services (IIS) Manager,如图双击HTTP响应头部(HTTPResponse Headers),

ETag是什么 ETag标准 ETag响应头 httpETag

选择No Grouping标签,在空白处右键选择Add。

ETag是什么 ETag标准 ETag响应头 httpETag

设置Name为ETag,Value为双引号

ETag是什么 ETag标准 ETag响应头 httpETag

配置web.config:-

<system.webServer>

...

<httpProtocol>

<customHeaders>

<add name="ETag"value="&quot;&quot;" />

</customHeaders>

</httpProtocol>

...

</system.webServer>

完成。

ETag是什么 ETag标准 ETag响应头 httpETag


邱嵩松点评:不错的优化技巧,相对稍微有些高端了,新手没有服务器权限的不好配置。不过如果你使用了百度云加速(如何使用百度云加速?),会自动配置上的,不用操心。

作者:Qiuss 来源: 浏览量:1384 归属栏目:空间/服务器 发布时间:2015/11/13 11:22:59 修改时间:2015/11/13 11:42:50 查看原文