这种网站指纹识别工具, 它的主要功能是通过提取各种网站资源的特征数据, 比如那些CSS或者JS文件对应的哈希值、DOM结构的签名信息还有HTTP响应头的组合情况以及缓存策略相关的标记等等数据, 然后利用这些数据生成一个唯一的数字指纹, 这个生成的数字指纹, 主要是用来判定两个网站之间是不是存在克隆关系或者镜像关系的一种专业检测手段, 它的核心应用场景, 包括了很多方面, 比如说知识产权保护侵权取证、品牌官网仿冒监测、CDN缓存异常排查以及竞品技术分析等等。
01.核心工作原理
网站指纹识别这个事情, 是基于多层特征来做的交叉验证的。
1. 静态资源指纹是指把网站里所有的CSS文件、JS文件和图片文件都抓取过来, 然后分别计算它们的SHA-256哈希值, 最后把这些哈希值汇总起来, 组成一个资源指纹集合。如果一个克隆网站是直接复制原网站的源码的话, 那么它里面的资源哈希值就会和原站完全一样。
2. DOM结构签名: 这一动作的意思是从页面中提取骨架。这里面包括标签嵌套的层级、class命名的规则, 还有组件渲染的顺序。最终的目标是生成一个结构哈希。
3. 请求头特征这个部分是要去分析那个Server, 还有X-Powered-By, 以及Cache-Control, 再加上自定义Header这些个东西的组合起来的模式, 目的是认出后面用的后端到底是什么技术栈, 再看看它部署起来是个什么样的架构。
4. 行为特征是检测那些动态的行为, 比如说, 要检测页面的加载顺序是怎样的, 还要检测WebSocket的连接模式是什么样的, 同时还需要检测API调用的序列是什么样子的。
如果只看这一个维度, 很有可能会看错, 所以那些用得比较久的工具都会考虑很多方面, 然后把各方面的权重加在一起综合去判断, 只有当信任程度达到了一定的界限, 这个界限一般是大等于百分之九十的时候, 才会把那个克隆确认的结论给输出来。
02.选择工具的五个关键维度
在进行选型工作的时候, 应该先把事情搞清楚, 看看那个工具到底支不支持HTTP协议还有HTTPS协议这两种协议的抓取任务, 另外呢还要再看看它能不能针对那些动态渲染出来的页面实现SPA, 从而完成指纹提取这一系列的操作。
03.实操检测步骤
Step1: 把那个目标域名输入进去, 这个工具会自己动手发起对整个页面的爬取操作, 然后它会提取出所有的静态资源文件, 最后去计算这些资源的哈希值。
Step2, 把目标站的资源指纹集, 和那个被怀疑在搞克隆的站点的资源指纹集放在一起进行相互对照, 然后把比对的结果算出来, 最后得出一个表示相似度是多少百分比的数字。
Step3网站指纹识别工具，去分析那个HTTP响应头还有TLS证书里面的信息, 通过这个分析来确认它们是不是用的同一个后端部署情况。
Step4: 需要生成一份结构化的检测报告, 这份报告要把各个维度的匹配项和差异项都标注清楚, 除此之外还要附上原始的截图以及哈希值。
Step5: 当相似度大于等于百分之九十, 并且dom结构签名完全一致的时候, 就可以直接判定它们属于克隆关系。这样的话, 相关的报告内容就可以直接被拿来使用。使用它可以用于处理域名的投诉问题, 或者用于发起侵犯权益的法律诉讼程序。
04.高频疑难与解决方案
CDN导致指纹不一致? 工具应当配置为绕过CDN并直连源站进行抓取, 或者对比X-Cache、Age等缓存头来辅助判断。
动态SPA页面如何提取指纹? 这一任务需要借助于无头浏览器, 比如说Puppeteer或者Playwright, 去等待页面的渲染过程彻底结束, 等到那个时候, 再去从DOM结构里面把数据给提取出来。
报告有没有办法当法律证据直接用? 要确认那个工具里面是不是自带了符合 RFC 3161 标准的可信时间戳服务, 而且要把完整的原始数据包都存下来；最好再用公证处的方法去拿证, 这样能让自己证据的份量更重一点。
05.部署形态与选型建议
现在的工具主要分成了在线SaaS和私有化部署这样两种类型。像一些由gname.xin提供的指纹检测模块, 就属于在线形态, 这种模式适合做轻量的、快速的验证工作, 用户只需要输入域名, 系统就会很快返回一份相似度报告。
对于那些有着持续监控需求的企业安全团队来说, 私有关方案会更加合适, 它支持定时巡检以及异常告警, 还能追踪历史的趋势发展情况。大家只要根据自己实际的检测频次、合规要求还有预算去做相应的匹配即可, 完全不需要过度投入。
