当前位置:文档之家› 信息检索相关性

信息检索相关性

近十年我国信息检索相关性研究现状分析——基于共词分析的视角摘要:相关性是信息检索领域的核心研究的内容之一,对其进行深入研究将有助于提高信息检索的效率,推动信息检索的研究。

本文将通过共词分析的方法,利用知识图谱对其进行可视化分析研究。

关键词:信息检索;相关性;共词分析前言相关性一直以来都是信息检索领域的核心研究内容之一,其概念的起源可以追溯到17世纪的早期图书馆用户认识到查找相关信息的问题。

但由于客观原因,相关性只是作为一种朦胧意识停留在人们头脑中,直到20世纪20年代少数学者Lotka(1926)、Zipf(1949)、Urquhart (1959)、Price(1965)才陆续从各个领域开始了相关性的研究工作。

在信息科学界Saracevic 认为Bradford是最先使用相关性一词的学者。

其在20世纪30年代发表的《文献的混沌状态》一文中首次提出“主题相关”的概念。

而此后关于“相关性”的探讨并未引起学界更大范围的关注。

直到1958年国际科学信息会议(ICSI)的召开,相关性(Relevance)才作为信息科学领域的一个重要概念被学术界认可。

至此“相关性”逐渐成为信息科学尤其是信息检索领域经久不衰的研究课题,甚至知识交流学派的代表人物Saracevic认为信息科学之所以成为独立学科,而不再隶属于图书馆学或文献学的原因就在于它开展了相关性的研究也在于相关性能够解释科学交流中的诸多问题。

足见“相关性”在信息科学中的重要地位。

当前,各国学者已对信息检索的相关性问题展开了深入研究,本文将通过共词分析法,使用知识图谱对其进行可视化处理分析。

1.信息检索相关性基本概念对信息检索相关性基本概念方面的研究工作始于20世纪50年代末,各国学者借助数学工具及各种概念提取方法从各个角度对“相关性”的含义及内容进行了深入剖析。

而相关性的基本概念研究以1976年为边界经历了前后两个阶段第一阶段1959-1976的主要成果有Maron和Kuhns利用概率论定义相关性的概念,提出相关性并非只是简单的是/非选择问题。

Rees认为相关性受文档所包含的信息概念的影响,认为相关信息是对用户原来所具备的知识而言有用的信息Goffman和Newill把相关性当成连接有效性的一种测度,并试图用数学方法证明相关性(Relevance)与关联性(Relation)之间具有等价关系。

Saracevic 则建议从文档、词与文献引用等各种文献特征上来定义检索的相关性。

Cooper利用数理逻辑给相关性做了一个明确的定义。

Wilson则在Cooper研究的基础上对数理逻辑相关性描述做了进一步扩充,并将“情境相关性”的概念首次引入到相关性的研究中,这些成果成为第二阶段研究工作的基础。

在第二阶段,1977年至今,由于相关性各领域研究成果的相继出现,使相关性的概念描述也呈现出许多新的时代特征。

首先是从面向用户及认知方法的观点重新审视相关性,认为相关性是个多维的认知概念,在很大程度上依赖于用户个人对信息的理解以及信息需求的情境。

相关性是一个动态的概念它依赖于信息与用户某一特定时间所需信息之间关系质量的评价,以用户的观点来看,相关性是个复杂的、系统的、可测度的概念。

其次是一些学者试图给信息检索定义一个逻辑模型来理解相关性概念这项工作由Rijsbergen开创之后又吸引了众多学者的参与。

2.信息检索相关性共词分析2.1数据收集处理本文研究的数据收集是以中国知网(cnki)中文数据库中的期刊文献为基础,期刊来源为SCI、EI、CSSCI,以“信息检索”并含“相关性”作为主题进行检索,检索年限为2004年至2013年,共检索文献95篇。

对其关键词进行统计分析,共有关键词202个,对其进行词频统计,将词频超过2次的关键词作为高频关键词,共有高频关键词42个(表1),本文的数据分析将基于这些高频关键词。

表1 高频关键词及其频次统计关键词频次关键词频次信息检索59信息系统成功模型2相关性29信息素养2搜索引擎8信息检索模型2用户相关性5相关性判据2情报学4模糊聚类2评价4模糊矩阵2检索模型4模糊方法2查准率4可视化2用户交互3检索系统2信息检索系统3检索评价2相关性判断3关联理论2相关性反馈3个性化2相关度3次序效应2系统相关性3词频矩阵2网络信息检索3查询扩展2数字图书馆3查全率2模型3测试集2跨语言信息检索3标准2检索3本体2用户需求2TEDS模型2用户行为2学术信息检索系统22.2建立共词矩阵在EXCEL表格中,删除低频关键词之后,对确定的42个关键词所在列进行两两配对,统计其在文献同时出现的频次,建立透视表,并通过Ucinet软件将42个关键词建立共词矩阵,图1为共词矩阵部分效果图。

图1 共词矩阵效果图(部分)2.3分析数据结果本文利用社会网络分析软件Ucinet6.0版本和Netdraw2.0版本对获取的关键词数据进行分析并绘制出社会网络分析图谱。

2.3.1K-core分析在本文中,首先使用Ucinet6.0软件建立共词矩阵的电子表格,然后采用Netdraw2.0软件绘制科学知识图谱,在此基础上,采用K-core 分析法进行社会网络分析,建立不同连接度k 核(最高为4)的共词网络图谱,经过处理后得到可视化结果,如图2所示,其中红色代表关联度为4的关键词,绿色为关联度为3的关键词,蓝色为关联度为2的关键词,黑色为关联度为1的关键词。

图2 K-core 分析效果图2.3.2多维尺度分析使用Ucinet6.0软件中的非量纲式多维尺度分析方法分析近十年我国信息检索相关性的关键词的数据结构,统计这些关键词坐标,统计结果如表2所示,并形成散点图,效果如图3所示。

表2 关键词分布坐标关键词 X 坐标 Y 坐标 所处象限 关键词 X 坐标 Y 坐标 所处象限 TEDS 模型 -0.794 1.984 第2象限评价 -0.234 -0.438第3象限本体 0.4 -0.145 第4象限 情报学-0.018 0.168 第2象限标准 -0.368 -0.089第3象限 数字图书馆-0.215 -0.92 第3象限测试集 -0.859 0.175第2象限 搜索引擎-0.317 0.409 第2象限 查全率 -0.048 -0.261第3象限 网络信息检索-0.716 0.905 第2象限 查询扩展 0.315 -0.505第4象限 系统相关性0.317 0.358第1象限查准率 -0.056 -0.524 第3象限 相关度0.253 0.135 第1象限词频矩阵0.676-0.556 第4象限相关性0.023-0.057第4象限次序效应-0.4490.128第2象限相关性反馈0.902-0.545第4象限个性化-0.689-0.11第3象限相关性判断-0.2310.057第2象限关联理论0.540.056第1象限相关性判据-0.485 2.055第2象限检索-0.52-0.571第3象限信息检索0.175-0.256第4象限检索模型0.127-0.858第4象限信息检索模型-0.0620.363第2象限检索评价-0.244-0.73第3象限信息检索系统0.558-0.773第4象限检索系统0.5420.268第1象限信息素养0.699-0.233第4象限可视化-1.1640.349第2象限信息系统成功模型-0.405 2.366第2象限跨语言信息检索0.389-1.334第4象限学术信息检索系统-0.803 2.397第2象限模糊方法0.111-0.689第4象限用户交互0.384-0.956第4象限模糊矩阵0.6-0.374第4象限用户相关性0.1270.471第1象限模糊聚类0.846-0.061第4象限用户行为0.057-1.102第4象限模型-0.4-0.284第3象限用户需求1.036-0.275第4象限2.62.42.221.81.61.41.210.80.60.40.20-0.2-0.4-0.6-0.8-1-1.2-1.42.62.42.221.81.61.41.210.80.60.40.20-0.2-0.4-0.6-0.8-1-1.2-1.4TE DS 模型本体标准测试集查全率查询扩展查准率词频矩阵次序效应个性化关联理论检索检索模型检索评价检索系统可视化跨语言信息检索模糊方法模糊矩阵模糊聚类模型评价情报学数字图书馆搜索引擎网络信息检索系统相关性相关度相关性相关性反馈相关性判断相关性判据信息检索信息检索模型信息检索系统信息素养信息系统成功模型学术信息检索系统用户交互用户相关性用户行为用户需求图3 多维尺度分析散点图分布效果图根据多维尺度分析图和表2的统计可以看出,42个关键词中,分布在第一象限的有:关联理论、检索系统、系统相关性、相关度、用户相关性,共五个;分布在第二象限的有:TEDS 模型、测试集、次序效应、可视化、情报、搜索引擎、网络信息检索、相关性判断、相关性判据、信息检索模型、信息系统成功模型、学术信息检索系统;分布在第三象限的有:标准、查全率、查准率、个性化、检索、检索评价、模型、评价、数字图书馆;分布在第四象限的有:本体、查询扩展、词频矩阵、检索模型、跨语言信息检索、模糊方法、模糊矩阵、模糊聚类、相关性、相关性反馈、信息检索、信息检索系统、信息素养、用户交互、用户行为、用户需求。

3.信息检索相关性研究分析通过核心关键词所处的象限分布情况以及K-core 分析图所示,我国信息检索相关性的研究热点主要集中在两个方面:第一,信息检索系统的相关性评价标准及模型的研究,包括查全率、查准率、相关度、TEDS 模型、学术信息检索系统、信息系统成功模型等;第二,有关用户的研究,包括用户需求、用户行为、用户相关性、信息素养等。

3.1信息检索系统的相关性评价及模型研究对于信息检索系统的相关性评价研究是这一研究领域的研究重点,也一直是研究者们关注的重点。

传统的相关性评价指标为查全率和查准率,目前系统相关性评价可用相关度作为相关性好坏的评价指标,相关度是文档表示与查询表达式间的匹配程度,相关度越高则说明文档与表达式越相近。

作为相关性的量化指标, 相关度已广为接受。

系统相关性评价的模型包括布尔模型、向量空间模型、概率模型、模糊模型、逻辑模型、概念模型、网络模型等。

信息检索系统是相关性评价的一个重要极点,检索系统性能的好坏直接影响到反馈结果质量的高低,从而影响用户相关性的判断。

从系统的角度看,提高信息检索的相关性可以从以下五个方面来考虑:①系统设计的用户观。

②信息组织的合理化。

③系统实现的智能化。

④检索功能的全面化。

⑤相关算法的最优化。

3.2与用户有关的信息检索系统相关性的关系研究信息检索的 目的是要预言信息对于用户需求的适用性,即信息能否满足用户需求或在何种程度上满足用户需求,但情报检索系统所能提供给我们的只是信息表示和查询表示之间的关系。

相关主题