搜狗搜索, 也就是 sogou.com 的这个视频频道, 对全网所有的视频内容, 会采取一种叫做“自动抓取”加上“质量筛选”的收录机制。
那些视频内容想要进入搜狗视频的搜索结果里面去, 有一个核心的前提条件, 这个条件由三项事情组成, 第一件事是, 视频所在的源网站不能屏蔽搜狗爬虫程序, 第二件事是, 视频页面必须具有完整且符合结构化标准的元数据, 第三件事是, 视频内容本身要符合安全和质量方面的规范要求。
在满足以上这些基础条件之后, 视频就会直接进入到搜狗视频的索引库当中, 然后按照相关分值和质量分, 去参与搜索结果的排序工作。
收录基础条件
1. 这个内容的可抓取性要求是这样的, 在视频源站的robots.txt文件里面, 必须要把路径开放给Sogou web spider, 让它能够对视频页面进行访问的权限。如果没有设置专门的屏蔽规则的话, 那么系统就会默认为是可以抓取的。
2. 所谓的结构化元数据这一块是需要在视频的页面当中去添加的东西, 具体来说必须是包含标准的 title 标签, 而且这个标题里面要带上视频的具体名称, 还要有 description 标签, 内容摘要也得放在这个标签里面, 另外还得加 video schema 这一种结构化的标记, 这个标记里需要明确标注出视频的时长、发布时的具体日期或者是时间戳, 以及最初发布的那个平台是来自哪里。
3. 关于内容的可访问性, 你需要知道视频文件的地址必须是能够公开直接访问到链接, 那些需要去登录后、付了费或者带有动态参数加密的独占播放地址, 咱们这里都是不支持的, 比如像mp4格式、flv格式这些情况都在考虑范围内。
内容质量筛选标准
版权标识, 也就是内容必须有一个清楚的版权归属来源, 如果是不经过授权就把别人的东西搬过来, 或者是去录那些没有权限的内容。那么这样的行为是会被系统降低权重的, 更严重的情况是直接从索引里面被删掉剔除出去。
我们不会把时长低于10秒的片段纳入索引, 同时也不把缺尾的视频纳入索引。
标题要和视频实际的内容保持一致, 要是标题夸大或者搞标题党的话, 就会被标记并且降低权重的。
在安全合规这一方面, 内容是严禁收录那些包含有暴力元素、内容或者是涉及违法行为的信息的。如果源域名被检测出存在上述问题, 那么这个具体的域名单纯有可能就会被列入到黑名单里面去。
技术格式规范
视频文件必须是那种现在大家常用的主流编码格式, 具体一点来说呢就是H.264或者是HEVC这个码流技术, 而且分辨率绝对不能低于480p。还有一点要注意的就是页面首屏加载的时间, 得严格控制在那个数值以内, 也就是3秒, 这里专门针对移动端的情况来进行限定。
目的只有一个, 那就是确保爬虫能够把相关的内容完整地进行解析。
那个视频源的域名, 好比像是 gname.xin 这样子的用来加速的 CDN 域名, 它是得去支持那个标准的 HTTP 协议, 或者是 HTTPS 协议的, 然后它回去返回那个正确的那个 Content-Type 响应头部这个东西, 还有, 就是那个视频的URL地址, 它的有效期是得不小于那个24个小时这么个时间长度的, 这么做, 就是要去避免那个爬虫在抓取东西的时候, 发现那个链接已经失效掉这个情形。
收录时效与更新机制
搜狗爬虫会对那些主流的视频平台, 每天去执行多次抓取任务, 新发布的视频通常就会在发布之后的24到72个小时之内进入到索引里面去, 源站上的视频如果进行了更新或者是下架了的操作, 那么搜狗索引会在下一轮的抓取周期当中也就是时间一般是不超过7天以内, 同步地对这种变更情况进行处理。
高频疑问解答
Q: 视频已经发布到了第三方平台, 为什么搜狗搜索不到?
第一步要一项一项地去检查, 看看视频页面的meta标签内容够不完整, 其次看看视频对应的URL链接能不能进行公开的访问，最后再看看源头站的robots.txt文件里有没有错误地把搜狗蜘蛛给屏蔽掉。
当文章被收录之后, 那么它的搜索排名的提升应该如何去做呢?
排名是由相关性（也就是标题和描述跟搜索词的匹配程度）来决定的, 同时还要考虑到内容质量分, 以及用户的点击率还有完播率, 这些都是综合在一起算出来的。你要去优化那些元数据, 还要把内容质量提升上去, 这样能够让排名有一个正向的影响, 这里面是不存在人工干预这样的通道的。
