内容电商推荐算法体系介绍
目标
多目标
• 点击,停留时间,IPV,GMV • 还要考虑内容生态建设
系统架构
TPP(推荐入口)
SP(搜索入口)
Merge Sort (混排策略)
Query/User Feature
ABFS QP
Profile/Action
Igraph
Realtime User-Action User Long term-Trigger User embedding
交互策略
定坑展示/动态展示/跳失点展示/pop layer展示
召回策略
文本特征+ 商品特征+ 主题特征+ 场景特征
多目标排序策略
质量+ 个性化+ 动态相关性+ 商业目标
主题质量体 系
主题价值分 级
主题标签 建设
热点预估
内容加工 内容生产
商品簇挖掘,主题聚合,关键词理解, L B S 挖掘
图集生成,问大家结构化抽取,主题挖掘,场 景挖掘,图文生成
recall
BE
内容召回链路:
宝贝召回链路:
向
u2follow;
I2i2a;
量
U2watch;
I2i2feed;
召
flowA2a;
I2a;等
回
A2a;等
Rank/Sort
RTP
Feed Feature
Feed Feature
Blink
ODPS
日志/系统event
离线/在线学习系统
Model
PAI PS
用户
点击换词/ 刷新
关键
词/用
户触
发
与 商
品
混 排
点击换词/ 刷新
智能内容 首页素材库
优化
首图 首Icon Suggest
内容建设辅助
图文类 视频类
内容平台 内容库
直播类(离线+实时)
TimeLine(离线 + 实时)
选品
内容 列表
内容 ቤተ መጻሕፍቲ ባይዱ位
Feeds 展示 排序
召回
相似 内容
点击
详情回退 详情回退
在线决策- LTR
• 特点&挑战 业务目标复杂 ✓ 业务多目标 ✓ 人群目标差异 ✓ 支持流量调控 ✓ 冷启动 online-LTR ✓ 数据分布变化(case:大促期间),更快的拟合新数据 ✓ 快速响应需求:能够灵活调头,指哪打哪儿
在线决策— RL
• list天然是一个序列决策过程,可以兼顾多个业务要求 • 使用神经网络去逼近策略函数和Q 函数 (soft u p d a t e , replay buffer)
② 加入channel specific n e t w o r k 去学 习渠道特有的特征 l 加入产品迭代策略
③ 加入display learning n e t w o r k 去学习 不同的展示样式带来的效果
display learning network
Multi-Scale CNN
Dense Features
点击
内容 详情
内容详情页
商品 详情
内容页 UI优化
Session 推荐
关联推荐
韩国 婚礼
… 举办 Text Tokens/Sente nces
…
Image Regions (e.g., object generator)
Raw Images
No Labels
Normal:
内容表征的工作
Next
Bert
PAI TF
Porsche
选品
图文类 视频类
内容平台 内容库
直播类(离线+实时)
TimeLine(离线 + 实时)
我们的主要工作
业务目标 智能展示 投放算法 内容理解 内容建设 用户理解
宏观业务指标
大盘指标+ 各主题产品指标+ 用户粘性指标
卡片
胶囊
样式策略
微观业务指标
C T R + V V 率 + 停留时间+ G M V
D&W Features
Display learning network
l 工程上实现了业务无关,完全按照展示样式和位置s c h e m a l 对算法来说,是很好的display learning 特征
显示单张图还是多张图 列表的主图 瀑布流主图 标题 副标题 业务类型的icon,个数/类型 底部展示的icon,个数/类型 底部icon后面追回的文本 底部tag文案 最后一张图上的第一行文案 最后一张图上的第二行文案 直播观看人数文案 lbs类型的距离文案
Image Inpainting
Next Sentence
Masked LM
Output:
Text Embedding Image Embedding Multi-Modal Embedding
OR
Finetune (sub)network on new tasks (e.g., CTR)
Objective
Feature Extraction
Dense Features
Sparse Features
channel specific network
Co-Training Network
Content Embedding network
基于co-training的多场景训练
① 大小渠道联合学习解决淘宝经验冷启动的 问题
但是在具体场景应用R L 会有一些难点: l 缺乏模拟器,依靠模型在线学习 l 策略探索的regret比较高 l 高度spa rs e 高度方差的r e w a r d
可能的解法:基于监督信息以及辅助奖 赏的训练方法
决策与内容生态
内容质量
• 内容运营者本身在持续做traila n d - erro r,反馈的缺乏抓手主要问 题在于这个过程反馈缓慢,导致内容 运营者普遍追求短平快的手段,抑制 了平台供给水平的快速提升
Sentence
Masked LM
Multi-Modal:
➢ Bert style Transformer on 1 and 2
➢ Combining 1 and 3 for different tasks
Image-Text Pair Classification
Image EncodeDecode
需求分类
意图识别
兴趣热点/ 平滑
短期行为理解
负反馈识别
购物决策阶 段
用户实时意图
实时挖掘用户浏览等长期忽略的行为,动态认知
外部数据理解
特别关注热点数据,获取并理解淘内没有的增量信息
达人/机构
运营/商家
媒体/达人等级建设,流量分配,运营机制
内部 画像
外部 画像
多维 属性
时空 偏好
打通淘内电商数据,UC/ 优酷等数据,长期用户数据
内容电商推荐算法体系介绍
技术创新 变革未来
目录
内容电商的主要挑战 系统框架 我们的主要工作 心得体会
l 内容电商的主要挑战
场景
场景分散
• 内容电商的业务场景多,分散 • 还有大量的内容场景,穿插在其他产品下面
模态
多变模态
• 目前包含:图片集,文本,短视频,中长视频,直播等形态 • 每种类型还有若干种展示方案