相对在线实验风险很低，出现情误后很容易弥补
用户调查的缺点
招募测试用户代价较大,很难组织大规模的测试用户,因此会使测试结果的统计意义不足。 在很多时候设计双盲实验非常困难,而且用户在测试环境下的行为和真实环境下的行为可能 有所不同,因而在测试环境下收集的测试指标可能在真实环境下无法重现
6
什么是推荐系统
推荐系统与搜索引擎
个性化
推荐系统能够更好的发掘长尾信息，即
将冷门物品推荐给用户。
热门物品通常代表绝大多数用户的兴趣 ，而冷门物品往往代表一小部分用户的 个性化需求。
如果说搜索引擎体现着马 太效应的 话，那么长尾理论则阐述了推荐系
统发挥的价值。
7
什么是推荐系统
长尾理论与推荐系统
28
推荐系统实验方法
离线实验
离线实验的特点
推荐系统的离线实验都是在数据集上完成的,它不需要实际的系统来供它实验,而只要有一个
从实际系统日志中提取的数据集即可。
这种实处是不需要真实用户参与,可以直接快速地计算出来,从而方便、快速地测试大量不同 的算法主 离线实验的指标和实际的商业指标存在差距,比如预测准确率和用户满意度之间就存大差别 、高预测准确率不等于高用户满意度。
32
推荐系统实验方法
在线实验
AB测试
AB测试是一种很常用的在线评测
算法的实验方法
通过一定的规则将用户随机分成几 组，并对不同组的用户采用不同的 算法,然后通过统计不同组用户的各 种不同的评测指标比较不同算法 。
33
推荐系统实验方法
在线实验
AB测试的优点
AB测试可以公平获得不同算法实际在线时的性能指标
/
一个重要的研究领域。
9
推荐系统的发展
推荐问题的发展历史
1998年亚马逊（）上线了基于物 品的协同过滤算法，将推荐系统推向服务千万级
用户和处理百万级商品的规模，并能产生质量良
好的推荐。 2003年亚马逊的Linden等人发表论文，公布了 基于物品的协同过滤算法，据统计推荐系统的贡 献率在20%~30%之间。
个性化音乐网络电台
前端特点
不允许点歌
给出用户反馈方式
22
个性化推荐系统的应用
23
个性化推荐系统的应用
个性化阅读
24
个性化推荐系统的应用
基于位置的服务
25
应用场景 4. 社交网络
Facebook
基于Facebook好友的个性化推荐列表
26
目录
1 2 3 4 5
什么是推荐系统
个性化推荐系统的应用 推荐系统实验方法 推荐系统评测指标 小结
事物；对商家而言，推荐系统可以给用户
提供个性化的服务，提高用户信任度和粘 性，增加营收。
5
什么是推荐系统
推荐系统与搜索引擎
主动化
从用户角度考虑，门户网站和搜索引擎
都是解决信息过载的有效方式，但它们
都需要用户提供明确需求。 推荐系统不需要用户提供明确的需求， 而是通过分析用户和物品的数据，对用 户和物品进行建模，从而主动为用户推 荐他们感兴趣的信息。
预测准确度
评分预测
用户给推荐物品打分的功能
预测用户对物品评分行为称为评分预测
均方根误差（ ui ui u ,iT
|T |
平均绝对误差（MAE)
MAE=
u ,iT
| rui rui |
|T |
39
推荐系统评测指标
预测准确度
TopN推荐
H= p(i) log p(i)
i 1
n
1 n G= (2 j n 1) p(i) n 1 j 1
41
推荐系统评测指标
多样性
为了满足用户广泛的兴趣,推荐列表需要能够覆盖用户不同的兴趣领域,即推荐结 果4
什么是推荐系统
推荐系统
不需要用户提供明确的需求 基本概念
推荐系统就是根据用户的历史行为、社交 关系、兴趣点、所处上下文环境等信息去 判断用户当前需要或感兴趣的物品/服务的 一类应用；
核心任务是联系用户和信息,对用户而言，
推荐系统能帮助用户找到喜欢的物品/服务 ，帮忙进行决策，发现用户可能喜欢的新
已经是第11届。这是推荐系统领域的顶级会议.
2016年，YouTube发表论文，将深度神经网络应用推荐 系统中，实现了从大规模可选的推荐内容中找到最有可能
的推荐结果。
11
个性化推荐系统的应用
基本的推荐方法
向朋友咨询 喜欢的明星
推荐本质是通过一定的方式将用户和物品联系起来
排行榜
分类
10
推荐系统的发展
推荐问题的发展历史
2006 年10月，北美在线视频服务提供商 Netflix 宣布了 一项竞赛，任何人只要能够将它现有电影推荐算法 Cinematch 的预测准确度提高10%，就能获得100万美元 的奖金。该比赛在学术界和工业界引起了较大的关注，极 大地推动了推荐系统的发展。 2007年第一届ACM 推荐系统大会在美国举行，到2017年
27
推荐系统实验方法
离线实验
离线实验的方法一般由如下几个步骤构成
通过日志系统获得用户行为数据,并按照一定格式生成一个标准的数据集; 将数据集按照一定的规则分成训练集和测试集; 在训练集上训练用户兴趣模型,在测试集上进行预测; 通过事先定义的离线指标评测算法在测试集上的预测结果。特征选择过程必须确保不丢失 重要特征
这个指标是最重要的推系统离线评测指标标
在计算该指标时需要有一个离线的数据集,该数据集包含用户的历史行为记录
然后,将该数据集通过时间分成训练集和测试集 最后,通过在训练集上建立用户的行为和兴趣模型预测户在测试集上的行为,并
计算预测行为和测试集上实际行为的重合度作为测准确度。
38
推荐系统评测指标
• 需要尽量保证测试用户的分布和真实用户的分布相同，比如男女各半,以及年龄、活跃度的分 布都和真实用户分布尽量相同。 • 用户调查要尽量保证是双盲实验,不要让实验人员和用户事先知道测试的目标,以免用户的回 答和实验人员的测试受主观成分的影响。
31
推荐系统实验方法
用户调查
用户调查的优点
可以获得很多体现用户主观感受的指标,
覆盖率
覆盖率( coverage)描述一个推荐系统对物品长尾的发掘能力 Coverage=
|
uU
R(u) |
|I|
覆盖率有不同的定义方法，最简单的定义为推荐系统能够推荐出来的物品占总 物品集合的比例。 一个好的推荐系统不仅需要有比较的用户满意度,也要有较高的覆盖率
信息熵
基尼系数
最后,通过在线的AB测试确定它在我们关心的指标上优于现有的算法。
35
目录
1 2 3
什么是推荐系统
个性化推荐系统的应用 推荐系统实验方法
4
5
推荐系统评测指标 小结
36
推荐系统评测指标
用户满意度
用户作为推荐系统的重要参与者、其满意度 是评测推荐系统的最重要指标。 用户满意度没有办法离线计算、只能通过用 户调查或者在线实验获得。 用户调查获得用户满意度主要是通过调查问 卷的形式
解决方案
信息过滤系统 搜索引擎，推荐系统
3
什么是推荐系统
搜索引擎
定义
搜索引擎是指根据一定的策略、运用特定 的计算机程序从互联网上搜集信息，在对 信息进行组织和处理后，为用户提供检索 服务，将用户检索相关的信息展示给用户 的系统。
分类目录
Yahoo，Hao123
搜索引擎
推荐的论文都是我非常想看的。 推荐的论文很多我都看过了,确实是符合我兴趣的 不错论文。 推荐的论文和我的研究兴趣是相关的,但我并不喜 欢。 不知道为什么会推荐这些论文,它们和我的兴趣丝 毫没有关系。
37
推荐系统评测指标
预测准确度
预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力
8
推荐系统的发展
推荐问题的发展历史
1994, Minnesota, GroupLens研究组论文
提出“协同过滤”的概念
推荐问题的形式化
影响深远(An Open Architecture)
1997 年 Resnick 等人首次提出推荐系统（ recommender system，RS）一词，自此，推 荐系统一词被广泛引用，并且推荐系统开始成为
29
推荐系统实验方法
用户调查
用户调查背景
如果要准确评测一个算法, 需要相对比较真实的环境。
最好的方法就是将算法直接上线测试,但在对算法会不会降低用户满意度不太有把握的情况
下，上线测试具有较高的风险。 上线测试前一般需要做一次称为用户调查的测试
用户调查过程
用户调查需要有一些真实用户,让他们在需要测试的推荐系统上完成一些任务在他们完成任 务时,观察和记录用户的行为,并让他们回答一些问题。
AB测试的缺点
周期比较长,必须进行长期的实验才能得到可靠的结果 大型网站的AB测试系统的设计也是一项复杂的工程
34
推荐系统实验方法
推荐算法上线过程
一般来说,一个新的推荐算法最终上线,需要完成上面所说的3个实验
首先,需要通过离线实验证明它在很多离线指标上优于现有的算法。
然后,需要通过用户调查确定它的用户满意度不低于现有的算法。
给用户的一个个性化推荐列表
TopN推荐使用准确率和召回率度量
准确率（Precision)
Precision= Recall=
uU
|R(u ) T (u ) |