我们每天都在被“个性化推荐”,这其中有什么门道?

摘要

前几天传言要被腾讯收购的今日头条很多人应该不陌生,我也是今日头条的忠实用户,为什么我觉得今日头条做得比其他新闻/资讯客户端要好,正是因为它展现给我的内容都是我想看的,随着我在上面的行为越来越多,它展现给我的内容越准确,今日头条使用的最核心的技术就是个性化推荐技术。

1468832375-8213-20160718102327091-1747689582

本文作者谢德福(微信号:beancurd191),9 年以上互联网从业经验,6 年以上个性化推荐、大数据相关经验。毕业进入华为工作 6 年后,于 2013 年创业至今,专注于大数据技术在影视、文化、视频、娱乐等领域的应用

前几天传言要被腾讯收购的今日头条很多人应该不陌生,我也是今日头条的忠实用户,为什么我觉得今日头条做得比其他新闻/资讯客户端要好,正是因为它展现给我的内容都是我想看的,随着我在上面的行为越来越多,它展现给我的内容越准确,今日头条使用的最核心的技术就是个性化推荐技术。

随着移动互联网的兴起,用户的很多行为逐渐从 PC 端转向移动端。人们花在手机上的时间越来越多。人们随时随地都在使用手机,在你坐车的时候、上厕所的时候、吃饭的时候,甚至在你走路的时候都在用手机。相对于 PC 端,移动端的特点是屏幕窄,用户使用的时间呈现碎片化。同时随着信息量越来越大,人们很难从大量的信息中快速找到自己想要的内容。这个体验是非常差的,如果你是产品经理,如果你面临同样的问题,希望接下来要讲的内容对你有所帮助。

推荐引擎是什么?

如果你在亚马逊上买过书,你可能会碰到这种情况,当你选择一本书放入购物篮时,它会自动给你推荐其它的书。比如:购买过该书的人还买过 XXXX,猜你可能还喜欢 XXXX,组合推荐,购买该书还有另外几本书的组合可以享受一个优惠的组合价格。这些使用的都是推荐系统,简单来说推荐系统就是研究用户在平台上的所有行为,对用户进行人物画像,以及研究平台上的内容/产品。同时把用户和产品匹配起来的过程。

推荐引擎的应用范围?

推荐系统在各个领域有广泛的应用,比如电商网站、视频网站、视频直播平台、新闻客户端、文学网站、音乐网站等等。下图是推荐系统在著名电商网站、视频网站的一些应用案例及应用效果。

1468832375-9187-20160718102327091-2035372013

为什么推荐系统能够在各个领域得到广泛应用?

1、通过目录或者搜索的方式查找想要的内容,在移动终端较小的屏幕上可能需要多次翻屏,查找感兴趣的内容的成本很高,用户体验较差。

2、通过推荐系统展现给用户的内容,都是用户感兴趣的,而且每个用户看到的都不一样,亚马逊的 CEO 贝佐斯说过,要让 1000 个访问亚马逊的用户看到 1000 个不同的亚马逊。

3、目前用户的选择非常多,可选择的多样性及时间的碎片化,用户打开手机,如没能快速找到感兴趣的内容,很快就会离开。

4、个性化推荐技术通过算法进行用户感兴趣的内容的精准推荐,帮助用户快捷发现感兴趣的内容,当你看完一个内容后,会立马给你推荐相关的东西,可以增加用户粘性

5、帮助用户发现更多优质的长尾内容,一般平台用户访问的只局限在热门的 10% 左右的内容,很多内容永远沉在数据库中没有人发现。

6、帮助平衡平台的生态,避免马太效应,热门的内容总是得到更多的爆光,冷门的内容从没机会被关注,使内容生产生态两极分化。

推荐系统的架构和核心算法

下面以我之前做过的一个产品为例来讲解,在架构上,可能每家在做的时候会有些不同,但用到的一些核心算法,大家应该是差不多的。具体怎么实现,产品经理不需要关注这么细,只需要大概了解其中的原理就可以了。

1468832375-1169-20160718102327091-1849342881

1468832375-4042-20160718102353169-1878680569

推荐系统中常用到的算法包括用户偏好算法、协同过滤算法(item_base,user_base)、关联规则算法、聚类算法、内容相似性算法(content_base)以及一些其它的补充算法。最终分析出来的结果是以下几种:

1、根据用户偏好算法算出来用户感兴趣的内容/产品,然后推荐给用户。

2、根据关联规则算法,算出物品间的支持度和置信度。最常见的应用是组合购买,啤酒和尿不湿是非常经典的例子了。

3、item_base 是根据集体用户行为算出物品间的相似度,然后把与用户看过的或者购买过的最相似的物品推荐给该用户。

4、聚类算法可以根据用户进行聚类,也可以对产品进行聚类。聚类后可以针对大类进行推荐,或者继续计算用户类和产品类之间的关系。

5、content_base 是根据物品本身的属性进行关联性运算,计算出物品间的相似性,最常见的应用是同类推荐。

6、user_base 是根据集体行为计算用户之间的相似度,比如A跟B计算出来非常相似,则可以把B喜欢的内容,但A还没有看过,推荐给A。

常用的应用场景

首页猜你喜欢推荐

由于移动端屏幕较小,一屏展现的内容较少,用户要找到自己感兴趣的内容需要一屏一屏往下翻,在这个地方展现个性化推荐的内容,可以快速抓住用户的眼球。

1468832375-6681-20160718102327122-901518752

在发现栏目给用户推荐感兴趣的内容,可以让用户获得惊喜。

1468832375-7113-20160718102327091-679496602

内容详情页的关联推荐/相关推荐:在内容详情页可以给用户推荐与当前内容相似的内容。

1468832384-9490-20160718102327451-1329999883

阅读结束/视频播放结束/直播结束推荐:推荐与当前内容类似的内容。

1468832404-1174-20160718102327513-282682976

搜索页面推荐:当搜索无结果时,可以给用户推荐其感兴趣的内容。

1468832418-4737-20160718102327701-1403766572

个性化推荐系统应用中的几个关键问题

个性化推荐系统是一个非常复杂的系统,其中不光涉及数据处理算法和系统架构的灵活性问题,还涉及系统鲁棒性,数据稀疏性问题、冷启动问题、系统的精准性和多样性问题。

1、垃圾数据处理:对于系统产生的异常数据、垃圾数据需要业务特点制定一套清洗规则。

2、冷启动问题:由于新用户访问时没有数据沉淀,因此很难根据用户行为进行推荐,目前比较普遍的方法是新用户首次登录时提供兴趣标签引导页面,引导用户进行设置,同时结合其它推荐算法。另外一种比较理想的方法是使用用户在其它平台的社交数据。

3、数据稀疏性问题:可以使用聚类算法进行升维后运算,并结合其它算法进行组合推荐。

4、推荐结果精准性和多样性:通过多种算法进行组合推荐。确保推荐结果集的精准性和多样性。

以上是关于个性化推荐系统的一个基本知识,希望对大家有所帮助。

  • 版权声明: 本文源自 雷锋网, 于5个月前,由整理发表,共 2274字。
  • 原文链接:点此查看原文

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: