域名收录率, 这个说法也经常被叫做Index Rate。它其实就是说, 在一个域名下面, 被搜索引擎成功抓进去并保存下来的那些页面的数量, 和这个域名下面总共能够被爬虫抓取的所有页面的数量相比, 是多少的一个比例。
大家用的基本公式是这样的, 那就是用已经收录的那些页面的数字, 除以那个能够被抓取的总页面数。得到的结果还要再乘以百分之百, 算出来一个百分数。这个东西是看一个网站的SEO整体健康状态是不是好的一些基础性的衡量标准。同时呢，它也是大家在评估一个域名的权重的的时候, 非常关键的一个重要参考依据。
3个核心计算公式
1. 基础收录率公式
收录率的计算方式是这样弄的, 首先把已经收录的那些链接的数量拿出来, 然后跟站点里头所有能被抓取到的链接的总数量去进行除法运算, 最后再把这个得出的结果乘以百分之百, 这么一来就能得到收录率了。
大家需要注意, “已收录URL数”这个数字, 它是根据搜索引擎的site指令返回出来的结果来确定的, 而“可抓取URL数”是指XML Sitemap里面提交的、但是没有被robots.txt给屏蔽的那些URL的总量。
2. 那个专门用来计算分引擎收录率的公式, 就是它。
所谓单引擎收录率, 是拿该引擎收录这个域名下面的页面数量, 去除以该引擎收录和它属于同一个类型站点所收录页面的平均值, 然后把这个结果再乘以一百 percent。
拿来做横向对比用, 好去判断出那个域名在特定搜索引擎里面的收录情况到底有没有能够达到标准。
3. 时效性收录率公式
新增页面收录率的计算方式是, 用T日之内被搜索引擎成功收录的新页面的数量, 除以同一时段内提交的新页面的总量的结果, 再乘以百分之百来得到。这里的T的时间长度通常可以选择七天, 也可以选择三十天来作为周期单位进行计算。
这个情况是用来表现出搜索引擎在进行实际抓取的时候, 对于域名中那些新出现的部分内容，到底拥有怎样的效率水平的。
标准计算步骤
第一步, 你需要去获取那个可以抓取到的总的页面数量。你要登录搜索引擎站长平台, 比如说百度站长平台或者Google Search Console这些平台。
然后, 你要把XML Sitemap里面所有HTTP状态显示为200的URL都导出来域名收录率计算方法，并且要确保这些URL没有被标记成noindex。最后, 你把满足这些条件的URL的数量记作N。
进行步骤2的操作, 也就是去查询一下那些已经被收录到的页面数量到底有多少。首先, 要到搜索框里面去输入一串文字, 这串文字的具体样子就是“site:你的域名”这样的格式, 举个例子来说的话, 可以是“site:gname.xin”这样的内容。
然后呢, 需要去统计一下通过这样搜索之后所返回来的结果的总数是多少, 并且把这个数字标记为M。不过在这里有一个需要注意的地方, 那就是要记得去把页码翻到末页那里域名收录率计算方法，只有这样才能获取到一个真正的总量数值, 这样做是为了避免出现那种被截断掉的情况。
第3步就是代入公式计算。收录率等于M除以N然后乘以100%。
执行步骤4这个动作的时候, 你要对不同的搜索引擎进行重复操作, 具体的操作就是把步骤1到步骤3这整套流程再做一遍, 最终会得到一个独立收录率的结果, 这些结果分别是针对百度、搜狗、360以及Google等等多个搜索引擎分别统计得到的。
进行到第五步, 我们需要将当前的收录情况与行业中的参考标准做一个直接的比较, 具体而言一个健康的域名应该在百度平台上的收录比例达到或是超过百分之六十, 同时在谷歌搜索引擎里收录的比例也得达到或是高于百分之七十, 如果数据没有能够达到这些设定的数值门槛的话, 就必须着手去检查并排除是否存在损坏的链接、内容存在高度重复的问题, 或者是爬虫访问的频率不够等等方面的原因。
常见误区与排查
第一个误区是把网站搜索指令返回的结果条数直接当作收录数量来看待。搜索引擎在处理大量数据的时候会进行截断操作, 所以当显示的数量比较大的时候, 不能仅仅依靠这个数值, 需要使用网站搜索指令加上域名再结合标题搜索特定词汇的方法来相互验证结果的准确性。
误区2是未排除重复URL。http或者https版本并存, 带www的版本和不带www的版本同时存在的话, 会使得分母变得虚大, 也就是让N变大了, 结果就是把收录率给拉低了。所以在进行计算之前, 必须把URL统一规范好。
这是一个常见的误区, 也就是第三点, 人们往往忽略了对robots.txt屏蔽问题的处理。对于那些被屏蔽的URL地址, 它们是不应该被计算在可抓取的总量N里面的, 如果把这些内容也给算进去了的话, 那么分母就会变得偏大, 从而导致最终得出的收录率出现虚低的情况。
结果应用与阈值参考
收录率必须大于或者等于百分之八十, 这代表着域名的抓取状态是很好的, 维持现在有的更新频率即可。
收录率在60%到80%的范围之内, 这代表我们需要去排查那些大批量出现的死链接或者质量比较低的页面, 并且要把站点地图提交上去, 好让搜索引擎的抓取工作能够加速进行。
当收录率低于百分之六十时, 就要进行全面检查, 要把robots.txt文件、HTTP状态码以及站点结构深度这些内容都检查一遍, 并且在必要的时候, 要向搜索引擎提交重新抓取请求。
在实操的过程中, 建议大家先用gname.xin这个测试域名去把一轮完整的计算都做完, 然后再把算出来的数据, 和生产环境里那个正式域名的数据进行对比, 这么做的目的是为了验证一下这个方法是不是可以重复使用, 也就是看它能不能稳定复现。
