当前位置:文档之家› 探索型和查找型任务的信息搜索行为的比较

探索型和查找型任务的信息搜索行为的比较


信息搜索行为指标
P5
我们关注能在第一个查询迭代(指用户和信息检索系统之间与第一个查询 有关的所有交互)中被迅速捕获的行为。
① 查询串长度 ② 滚动深度 ③ 第一次查询迭代的持续时间 ④ 停留时间
⑤ 浏览时间占比 ⑥ 任务完成时间 ⑦ 累计的点击数 ⑧ 注视分布
实验过程
P6
参与者 32位计算机科学的研究者。6名女性,26名男性。作者认为可以反映计算机 科学学院的男女比例。只选择有一定的背景但是不会对搜索任务主题过分 熟悉的研究者。 任务设计 为了提高结果的普适性,为每种任务类型创建了两个具体任务。评估结果 质量,只分析那些成功完成搜索任务的参与者的实验数据。 记录的数据 对每一次结果项的点击,记录时间、标题、文章在搜索引擎结果页的位置 以及阅读结果所花的时间;同时记录任务的开始和结束时间以及滚动鼠标 的数据和每次发布的查询式;采用TobiiX2-60 Compact眼球追踪器来记录 注视数据。
通过分类来进行验证
P14
为了评估实验结果是否适合用于在信息检索系统中区分探索型任务和查找 型任务,用机器学习的方法实施了一个分类实验。其中除去了注视分布和任务 完成时间的数据,因为这些数据不易于被信息检索系统获取。 验证方法:采用十折交叉验证的方法来实施所有的分类实验。取十次独立实验 的平均值,分类方法采用随机森林算法。 验证结果1:当只采用探索型和查找型中的4种核心类型进行分类实验,发现任 务类型的预测准确率为85%。AUC值(ROC曲线以下的面积)为0.859,显著 的超过了基线50%和0.5。
作者:Bernard J. Jansen, Danielle L. Booth, Amanda Spink 1、为上述三种查询意图(信息、导航和事务性的)建立了一个分层分类体系; 2、推导这三种意图的属性;
3、通过自动分类来区分三种意图。
Thanks
累计的点击次数:知识获取型任务有更多的累计的点击次数。
P12
知识获取型任务和所有的查找型任务均有显著差异。其余的探索型任务则和查 找型任务之间没有显著差异。
实验结果
注视分布:在六种类型的任务间均没有差异。
P13
然而,还是观察到了一些微妙的差异,例如在计划型的任务中,注视点落在第 三条结果项中占了很大的比例。
比较型
问题回答型
探索型
查找型
比较型
问题回答型
探索型
查找型
对信息检索系统的影响
P16
IR系统可以改进的三个方面:界面设计,检索算法设计,用户模型设计。
调整搜索引擎结果页 显示的结果项数目
根据任务类型调整返 回结果片段的长度
根据任务类型调整隐 式反馈技术
根据任务类型调整 探测率
推荐文献
P17
《Describing and Predicting Information-Seeking Behavior on the Web》
Is Exploratory Search Different? A Comparison of Information Search Behavior for Exploratory and Lookup Tasks
探索型检索是不同的吗?— —探索型和查找型 任务的信息搜索行为的比较
研究背景
P1
作者:Jeonghyun Kim 通过不同任务类型在信息搜索阶段(ISS)的不同表现,描述和预测事实任务(factual task)、翻译任务(interpretive task)、探索任务(exploratory task)。
推荐文献
P18
《Determining the informational, navigational, and transactional intent of Web queries》
实验结果
P7
查询串长度:导航型的任务拥有更长的查询串。 通过用查询串长度可以把核心查找型任务与核心探索型任务区分开来,而每 个类别中的边缘型任务则展现出一种混合行为。
Z>=1.69
实验结果
P8
滚动深度:所有的探索型任务均和核心的查找型任务存在显著差异。 在第一次点击之前六种任务类型的滚动深度并没有显著差异,证明用户在进 行第一次点击之前都更加关注呈现在最上方的结果。但是在进行了第一次点 击之后,进行探索型任务的用户会进行更深的滚动。
P2
研究目的 研究是否可以,以及在多大程度上可以从信息检索系统易于观测的属性把 查找型搜索任务和探索型搜索任务区分开来。通过进行几个搜索活动,为 查找型搜索任务和探索型搜索任务提供一个系统和严密的分析。
研究意义 1. 许多研究只从认知策略上对查找型搜索任务和探索型搜索任务进行比较, 而信息检索系统则需要更多的指标对其进行区分;
实验方法
控制变量以及自变量
P4
控制了三个影响搜索行为的外部因素:领域知识、搜索专业知识以及感知 到的任务难度;自变量是检索目标的精确性、以及搜索过程的客观复杂度。 实验参与者 能够运用专业的搜索技能在适度熟悉的领域开展探索型和查找型任务的人, 其中定义熟练的网络用户为把每天搜索信息作为工作任务的那些人。 搜索工具 arXiv:在数学和计算机科学领域最流行的开放获取的数字图书馆之一。每 页展示40个结果项,有7个结果项是直接呈现在眼前而不需要滚动鼠标的。 任务设置 把任务设置在学术信息搜索的场景下,选择机器学习领域来设计所有的任 务,原因是参与者的样本量大以及存在大量的相关文献。
P15
接下来看看把边缘型任务的标签进行交换之后,是否能更容易的预测任务类型。 两个标签都进行交换:把两个标签都交换之后,准确率从60.3%提升到了 72.4%,AUC值从0.658提升到了0.741。
只交换一个标签:把比较型任务从探索型交换到查找型,获得了69.2%的准确 率和0.681的AUC值;把问题回答型任务从查找型交换到探索型,获得了 75.6%的准确率和0.777的AUC值。 结果分析:虽然不能下结论说问题回答型任务应该被认为是探索型而不是查找 型任务,但是这表明在我们的实验设置下,用户在完成问题回答型任务时的行 为更接近于他们在完成探索型任务时的实验行为。
实验结果
P9
第一次查询迭代的持续时间:只能用它把知识获取型任务从所有的查找型任 务中区分开来。
停留时间:只有知识获取型任务与所有的查找型任务之间存在显著差异。
实验结果
浏览时间占比:知识获取型任务的浏览时间占比最短。
0
在探索型任务中,相比于浏览搜索引擎的返回结果页面,用户花费更多的时间 检查那些已经被点击的文档。这种行为在探索型的知识获取型任务中表现得尤 为显著。
信息搜索任务可以用许多影响搜索行为的因素进行分类,最突出的因素包 括搜索目标、客观和主观感知到的复杂性、任务难度和用户的知识背景。 ① 查找型任务的一般特征是有着单一搜索路径的精确搜索目标。 ② 探索型任务被定义为有着不精确的任务需求和开放式的搜索目标。
Exploratory
Lookup
研究目的与意义
实验结果
任务完成时间:探索型任务需要花费更长的时间去完成。
P11
任务完成时间是把探索型和查找型任务区分开来的一个很好的指标。但在查找 型任务中,回答问题型任务是一个异常的情况。一个可能的原因是,在回答问 题型任务中,用户会花费更多的时间在验证他们的答案上,即使他们已经找到 了正确的答案。
实验结果
验证结果2:接下来考虑全部共六种任务来预测任务类型。获得了60.3%的准 确率和0.658的AUC值。由此可见把两种边缘任务包含进来之后,准确率和 AUC值相比于之前的均有所下降。这显示IR系统比较容易预测核心探索型的任 务,但是如果有边缘性特征的任务被包括进来之后,系统就显得难以预测了。
通过分类来进行验证(交换边缘型任务标签)
2. 许多研究只从网页搜索行为角度进行考虑对二者进行区分,而没有专门 研究信息检索系统的使用行为。网页搜索和信息检索系统的搜索是有显 著不同的。关于任务类别的知识可以提高信息检索算法的表现,以及更 精确的计算隐式的相关性反馈。
实验设计
P3
设计了一个控制实验,使作者能清晰的设置搜索任务,以及控制能够影响 搜索行为的其他变量,例如已有的知识背景和任务难度。实验的框架:运 用Marchionini(2006)框架,该框架将低等级的搜索活动,例如事实发现、 知识获取等归类到高等级的类别(查找型搜索和探索型搜索)中。
相关主题