揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
数据挖掘案例二：好友推荐算法库
• 主要挑战之一
✓ 在众多好友推荐位上展示推荐结果冗余，降低推荐效果 ✓ 众多好友推荐算法产生推荐结果难于融合
化推荐系统并逐
Amazon商品推荐、 步发展
CDNOW音乐专
Personalized News推进个性化 推荐技术影响力
巨大进步
遍关注，
基于邻域的推荐 算法得到较多改 进；
辑推荐使用Itembased CF；
Matrix Factorization
MovieLens电影 推荐；
models、多模型 数据挖掘算法等
•Байду номын сангаас群/讨论组推荐；
• 搜人排序；新鲜事排序
??
• 二度好友模型、基于加好友趋势预估模型；
?
• 接受率模型；
• 通讯录社交图谱合并算法；好友亲密度模型
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
开始广泛应用；
推 荐 社 会 化
2010年
Facebook公布 其二度好友推 荐算法，标志 社会化推进技 术逐步成熟。
Hadoop平台已 趋于成熟， Mahout子项目 也逐步丰富
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
数据挖掘案例一：社会化推荐系统
• 社交网络的信息有什么特殊之处？
✓ 信息特性：多样化，网状化，异构化实体 ✓ 社交特性：社交关系是一种特殊的信息
• Social Graph “The global mapping of everybody and how they're related. ”
– Brad Fitzpatrick
好友推荐
新鲜事排序
+ 用户关系建模
广告排序优化
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获f得r过o多m源i动R力e与s更ea大r的c推h动.力cn！, Oct. 2011
Email: xiong.deng@ Weibo:邓雄John
应用研究中心主要工作领域
“We are moving from an Information Age to the Recommendation Age. ”
– “The Long Tail ” by Chris Anderson
• 推荐系统：给用户推荐符合其喜好的信息
✓ 好友推荐，商品推荐，日志推荐，视频推荐，App推荐,广告推 荐
• Cascades
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
数据挖掘案例一：社会化推荐系统
• 应用场景举例 – Web端“好友推荐位” • 应用场景举例 – Web端“名片卡”（推荐解释） • 应用场景举例 – Web端“推荐好友新鲜事” • 应用场景举例 – Web端“连续推荐好友” • 应用场景举例 – 移动端 通讯录好友推荐、“附近的人” • 应用场景举例 – Web端照片内容推荐 • 应用场景举例 – “人人头条” • 应用场景举例 – Web端“推荐加入小组小站” • 应用场景举例 – Web端“推荐聊天群” ….
Products: 群聊讨论组推荐、好友分组
Renren Colleagues
College mates
• 知识图谱； • 内容推荐； • 热门话题发现； • 广告定向
Friend Rec.
Products: 可能认识的人、 附近的人
London
friends • 好友智能分组及命名算法；
Family
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
SNS大数据挖掘案例
Interest Discovery
Products：人人头条、 横插内容新鲜事推荐
User Grouping
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
摘要
• 人人应用研究中心简介 • 社会化图谱挖掘案例概述 • 图谱挖掘一：社会化推荐系统概览 • 图谱挖掘二：好友推荐算法库 • 图谱挖掘三：好友亲密度模型 • 图谱挖掘四：好友智能分组算法 • 图谱挖掘五：热点内容检测及传播分析 • 社会化图谱挖掘主要任务归纳及展望
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
摘要
• 人人网及人人应用研究中心简介 • 社会化图谱挖掘案例概述 • 图谱挖掘一：社会化推荐系统概览 • 图谱挖掘二：好友推荐算法库 • 图谱挖掘三：好友亲密度模型 • 图谱挖掘四：好友智能分组算法 • 图谱挖掘五：热点内容检测及传播分析 • 社会化图谱挖掘主要任务归纳及展望
✓ Amazon, Facebook，Google, Netflix, Youtube, Apple…
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@
Weibo:邓雄John
推
推荐系统历史
荐 技
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
数据挖掘案例一：社会化推荐系统
• 背景：信息爆炸、信息过载
✓ 1分钟互联网产生多少数据？
• 48小时新视频@Youtube • 2000000次搜索请求@Google • 684478分享消息@Facebook • 100000条微博@Twitter • 3600张照片@Instagram
术
推 荐 系 统 诞 生
1992年
Collaborative Filtering算法诞 生，推荐系统 诞生；
GroupLens Project应用CF 到新闻过滤
推
多
荐 个
样 化
性
2009年
化
2007年
Netflix Prize推荐
2004年
Google
大赛结束，推荐 技术开始受到普
2003年
Karypis引入个性
Social Graph 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
数据挖掘案例一：社会化推荐系统
• 社交网络的信息有什么特殊之处？
✓ 信息特性：多样化，网状化，异构化实体 ✓ 社交特性：社交关系是一种特殊的信息 ✓ 流动性：信息在社交网络中动态流动，加速增长, 充满噪声
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
好友推荐引擎
首页一行 四排
首页吸顶位
新鲜事 guide 分享页 名片卡 …
推荐引擎
展示模块
实验分流 平台
过滤模块 系统监控
数据挖掘案例一：社会化推荐系统
• 社交网络的信息有什么特殊之处？
✓ 信息特性：多样化，网状化，异构化实体
• 异构复杂数据
应用 新鲜事
音乐
专辑
异构 好友关系
视频
实体 公共主页
电影 相册 小组
相片 小站
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
• 受邀演讲：
– IBM Ireland Research Center (In English)，2010 – 杭州阿里，2013.10 – 架构师大会 Qcon，2013.11 – 中国软件技术大会，2013.12 – Big Data & Analytics Innovation Summit, 2013.11 – …..
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
Email: xiong.deng@ Weibo:邓雄John
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获f得r过o多m源i动R力e与s更ea大r的c推h动.力cn！, Oct. 2011
Products: 可能认识的人、 附近的人
London
friends • 好友智能分组及命名算法；
Family
• 群/讨论组推荐；
• 搜人排序；新鲜事排序
??
• 二度好友模型、基于加好友趋势预估模型；
?
• 接受率模型；
• 通讯录社交图谱合并算法；好友亲密度模型
揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！
SNS大数据挖掘案例
Interest Discovery
Products：人人头条、 横插内容新鲜事推荐
User Grouping
Products: 群聊讨论组推荐、好友分组