文本内容价值评估的方法

背景

在推荐系统的业务场景中我们的最终目的是把优质的内容从内容池中挑出来推荐给用户,以期达到如下目的

  1. 降低用户获取信息的成本
  2. 提供给用户平均质量更高的内容,提升用户活跃度和留存
  3. 助力运营等提高内容分发的效率

如何评价一个内容的质量好坏就成了我们面对的一个重要问题

如何找到用技术手段评估内容的质量

一个内容的质量其实是一个动态变化的评价,与内容本身,所处的环境和面向的对象有很大关系,同一个内容对不同的人价值是不同的,同一个内容对相同的人在不同的时间价值也是不同的

所以我们可以通过技术手段尽可能的收集相关的信息,采用一些数学方法,找到相对比较合理的内容价值评估的方法

内容本身

挖掘内容本身的特征属性进行评估

假如一个内容A点击率比较高,一定是其中含有吸引人的特征,我们可以思考可能的原因是什么?
有可能是作者文字功底比较好,有可能是作者比较出名, 有可能是里面有一些特征一看大家就想看。比如 标题很有吸引力 。
我们可以根据内容的 发布时间, 作者,含有的关键词,视频的清晰度,内容的长度,等各种属性给内容计算一个基础的内容得分。

内容类型 关键因素
长文本内容 作者,标题,插图,关键词,主题
短文本内容 关键词,主题,作者
视频内容 标题,封面,视频大小,清晰度

如此一来我们就可以对各种内容做一个基本的价值评估,可以在视频刚发布,还未获得曝光和点击的时候对视频有一个大概的评价。这一部分的评估特点是分数只跟内容本身有关,且一旦内容发布就很少会发生变化,对应的分数我们称之为静态内容质量分。

通过用户行为来辅助评估

我们通过直觉可以很明显的知道用户点击率高的内容大概率会是吸引人的内容。由此我们可以对内容的点击率进行统计,根据点击率给予内容一定的分数,点击率越高,内容分数越高, 我们认为内容越优质。

这种情况是最直观的也最简单的, 但是我们会遇到一些问题

  • 问题1: 如果一个内容刚刚发布,还没有被展示或者被点击,此时没有用户行为数据,该如何评估内容的质量呢, 这部分内容因为展示次数少,误差较大

  • 问题2: 如果一个内容A 刚刚发布不久,被展示了10次,点击了5次, 点击率50%, 另一个内容B发布了2天,被展示了20万次,点击了5万次,点击率 25%, 是否能说明A内容比B内容优秀

相信从上面两个问题也能看出来了,单纯的依靠点击率是肯定不合适的,既会受到一定的限制,又会造成得分结果的不稳定。

处理问题1,2的方法也比较简单,只需要按照数据分布情况给一个预估的分数默认值作为偏置 总分数 = (偏置数 + 点击率得分)(解决问题1), 并加上一定的统计门槛就可以了(解决问题1)。对于问题2我们采用多种维度而不仅仅是通过点击数量和点击率,同时考虑增加速度,受众人群等就能得到一个比较理想的结果

环境因素

内容的质量表现还会随着时间和环境因素而变化。
比如股市的资讯类消息, 就是在发布的12小时内价值比较高,而且其价值会随着时间逐渐减少,3天以上基本就毫无价值了。
内容受到环境影响也很明显,这次的新冠疫情导致口罩,病毒等相关的内容受到了极大的关注。可能在平时来说,口罩等关键词并不会有如此大的权重,但是在疫情期间,全民关注,这个时候就应该根据环境适当的给热门词增加权重表现
环境和内容的匹配主要还是要依据统计数据来预估一个特征在环境中的匹配度,然后根据这个匹配度对内容进行评估,在根据用户对内容后续的行为表现来调整这个匹配度的计算规则。

由于内容热度和环境匹配度这部分的内容分数会随着环境热点,发布时间等发生变化我们称之为动态内容质量分。

对象信息

考虑目标用户特征

同样的内容对不同的用户也会有不同的价值。同一篇手机评测内容,对魅族手机用户和小米手机用户分别展示1000次收到的点击返回结果可能就有很大不同, 对数码爱好者和小白分开推送效果也会不一样。
我们如果要对用户和内容匹配一方面要获取到用户的用户画像信息,一方面要对内容做内容特征分析, 然后再进行match。

这个时候内容的质量又跟目标用户的匹配度相关,而且这部分往往还是影响用户对内容行为的最大影响因素。

用户喜好特征的收集涉及到用户画像,用户画像的特征最好和内容特征最好能有一定的对应关系。比如某用户身处上海地区,那很有可能就喜欢看上海地区的新闻,如果内容里面出现了上海的某个区也应该通过一定的处理手段变成跟上海相关的内容,特征维度尽可能跟用户画像一致。

内容质量相关影响因素总结

内容特征分析

总结

上面的几种方法都有各自的优点和缺点,多种评估策略一起配合使用可以一定程度上增强价值评估的可信度。综合推荐就是同时考虑 用户, 环境,时间,内容本身等多种因素,根据情况实时的计算,不同属性的得分之间可以根据统计设定不同的权重,并根据实际表现进行权重调整。

内容的价值评估是一个跟场景,用户,内容都相关的事情, 没有办法使用一个统一的,固定的算法或者模型对内容进行价值评估, 但是我们可以根据现有的用户行为, 环境特征, 内容特征等,尽可能的覆盖所有可能的影响因子, 给出一个相对比较可信的价值度量标准