百度站长平台ETag的作用对站点服务器如何配置ETag完整页

.NETv3.0 可再发行组件包

类型：编程辅助大小：2.7M语言：中文评分：1.8
标签：

立即下载

一、ETag简介

ETag(EntityTags)是URL的tag，用来标示URL对象是否改变，这样可利用客户端（例如浏览器）的缓存。由服务器首先产生ETag，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。服务器使用它来判断页面是否已经被修改，如果未修改返回304，而不必重新传输整个对象。

二、现在站点sitemap存在的问题

1.发现更新不及时
当站点或其sitemap发生更新时，百度难以及时发现并响应，因为百度难以无时无刻地持续检查站点内容和sitemap是否更新。

2.全量抓取，消耗带宽
现在百度对站点sitemap的抓取会将sitemap文件完整下载下来，鉴于sitemap文件一般较大，而这种下载可能存在多次，故比较消耗网站的流量和带宽。

三、ETag作用

HTTP1.1用Etag来判断请求的文件是否被修改，主要为了解决Last-Modified无法解决的一些问题

1、一些文件也许会周期性的更改，但是他的内容并不改变(仅仅改变的修改时间)，这个时候并不希望客户端认为这个文件被修改了重新GET;
2、某些文件修改非常频繁， 1秒内修改了N次，If-Modified-Since能检查到的粒度是秒级的，这种修改无法判断
3、某些服务器不能精确的得到文件的最后修改时间；

为此，HTTP1.1引入了Etag.但标准并没有规定Etag的内容是什么或者说要怎么实现，唯一规定的是Etag需要放在双引号内。Etag由服务器端生成，客户端通过If-Match或者说If-None-Match这个条件判断请求来验证资源是否修改。我们常见的是使用If-None-Match.请求一个文件的流程可能如下：

第一次请求：

1.客户端发起HTTP GET请求一个文件；
2.服务器处理请求，返回文件内容和一堆Header，当然包括Etag(例如"1ec5-502264e2ae4c0")(假设服务器支持Etag生成和已经开启了Etag).状态码200，如下图所示，首次请求百度首页时，成功得到百度logo图片文件bd_logo1.png，状态码200，大小8.1KB，返回的Header中包括ETag（“1ec5-502264e2ae4c0”）。

第二次请求：

1.客户端发起HTTP GET请求一个文件，这个时候客户端同时发送一个If-None-Match头，这个头的内容就是我们第一次请求时服务器返回的Etag：1ec5-502264e2ae4c0
2.服务器判断发送过来的Etag和计算出来的Etag是匹配的，不返回200，返回304，让客户端继续使用本地缓存。如图所示这次对bd_logo1.png的请求，服务器只返回了Header没有返回内容，大小仅为349B。

四、站点启用ETag的好处

1.对sitemap启用ETag后，百度可以更快速地响应sitemap的更新，没有更改内容的情况下，服务器只发回304应答头，对流量的消耗极小，在每个head平均227B大小的通常情形下，一整天二十四小时每秒都回应的流量消耗仅为18.7M。

2.现在站长平台对每个站点的sitemap主动抓取次数设有上限，且这项功能没有对所有站开放，如果您的站点sitemap启用了ETag，并通过了测试，那么就可以用很小的流量享受百度及时更新您的sitemap的功能，以便于百度更好地收录您网站的内容。

对站点服务器如何配置ETag

一、Apache

Apache根据配置文件中的配置来设置Etag值，默认的Apache的FileEtag设置为：
FileEtagINode Mtime Size
也就是根据这三个属性来生成Etag值，他们之间通过一些算法来实现，并输出成hex的格式，相邻属性之间用-分隔，比如："2e681a-6-5d044840"，这里面的三个段，分别代表了INode，MTime，Size根据算法算出的值的Hex格式，可以改变Apache的FileEtag设置，比如设置成FileEtagSize,那么得到的Etag可能为："6"，设置了几个段，Etag值就有几个段。

详细配置：

步骤1
在要启用ETag的目录下增加.htaccess文件并在其中增加一行，如图：FileETagMTime Size

以覆盖默认的Innode MTime Size的ETag，因为默认的ETag使用到的Innode会导致相同的文件在分布式服务器上产生的ETag不同。

步骤2
如果.htacces文件已经存在，请确保要启用ETag的目录/.htacces文件中没有FileETagNone。如果存在FileETag None，请删去该行。

检查没有用mod_headers将ETag除去，即httpd.conf文件中没有出现下面的语句，
LoadModuleheaders_module modules/mod_headers.so
Headerunset ETag
如果出现如图情况，请删除Headerunset ETag这一行。

步骤3 重新启动httpd，就启用ETag了。

二、Nginx

步骤1
确认Nginx版本，命令：Nginx安装目录/sbin/nginx–v，

版本为1.7.3及更高，继续步骤2；版本为1.7.3以下，1.3.3及以上，进行步骤3；版本为1.3.3以下，不支持ETag，请升级您的Nginx。

步骤2
确认没有关闭ETag：打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/)，确保其中没有出现etagoff;，下图为出现的情况，请将此行删除。

确认没有使用ngx_headers_more清除ETag头：同样在配置文件中不能出现如下语句的任意一句，如果出现请将其删除。

重新启动Nginx，就启用ETag功能了。

步骤3

查看是否开启了gzip，且是否和etag出现冲突，出现冲突去步骤4，没有去步骤2。
打开Nginx的配置文件nginx.conf(默认位置Nginx安装目录/conf/)，其中出现gzip on；语句证明开启了gzip，如图

开启gzip时，可能与etag出现冲突，用浏览器多次请求此网站的静态元素，如果只返回200，不返回304，证明存在冲突，请去步骤4；没有冲突去步骤2。

步骤4
请关闭gzip，即将上一步中的gzipon;改为gzip off；然后去步骤2。

若不想关闭gzip，并要开启ETag，同时仍要坚持使用当前的Nginx版本，只能修改源码并重新编译。
下载此版本安装包并解压，将其目录下/src/http/modules/ngx_http_gzip_filter_module.c
文件中约309行左右的ngx_http_clear_etag(r);一行注释掉或删掉。如下图

如果没有找到ngx_http_clear_etag(r);而是发现ngx_http_weak_etag(r);如下图，证明此Nginx

没有gzip和etag冲突的问题，不必进行任何修改。

重新编译源码安装Nginx，解决这个冲突，然后去步骤2。

三、IIS

IIS7是默认开启ETag的，如果没有ETag，请按以下步骤设置。

打开Internet Information Services (IIS) Manager，如图双击HTTP响应头部(HTTPResponse Headers),

选择No Grouping标签，在空白处右键选择Add。

设置Name为ETag，Value为双引号

配置web.config:-

<system.webServer>

...

</customHeaders>

</httpProtocol>

...

</system.webServer>

完成。

不管怎么样的ETag，在服务器端都要进行计算，计算就有开销，会带来性能损失。一些网站把Etag禁用了，这其实不符合HTTP1.1的规定，因为HTTP/1.1总是鼓励服务器尽可能的开启Etag。为了确定ETag对性能造成的具体影响。我们在服务器上(CPU Intel E5-2620 2.00GHz，内存65G，Web Server使用此CPU的两个核心)进行压力测试，在逐渐增加并发用户数目的情况下，查看CPU消耗率和服务器吞吐率在有无设置ETag情况下的具体对比。

一、Apache

CPU利用率
如下图所示，其为测试中服务器使用的平均CPU利用率，纵坐标为百分比，横坐标为开始测试的时间，其中不用ETag时，平均CPU利用率为18.62805%;启用ETag时，平均CPU利用率为21.20956%。