昆明理工大学信息工程与自动化学院学生实验报告( ２０１4—２01５学年第1学期)课程名称:信息检索与搜索引擎技术开课实验室:信自楼445 201４年12月２3日一、上机目得及内容:给定文档语料:ｄ1: 北京安立文高新技术公司ｄ2: 新一代得网络访问技术ｄ3: 北京卫星网络有限公司d4: 就是最先进得总线技术。
ｄ5: 北京升平卫星技术有限公司得新技术有。
设计一个针对这些文档得信息检索系统。
具体要求就是:1)给出系统得有效词汇集合(说明取舍原因)。
2)写出d1与d2在VSM中得表示(使用tf＊idｆ,写出各项得数字表达式,具体数值不必实际计算出来)、3)画出系统得倒排文件示意图。
4)按照向量夹角得余弦计算公式,给出针对查询“技术得公司”得前3个反馈结果、二、实验原理1)给出系统得有效词汇集合(说明取舍原因)、北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平得、就是、最、有,这些词作为停用词不能加入系统得有效集合一、代,去除后并不影响原来句子语义得表达也不能算作系统得有效集合。
2)写出d1与d2在VSM中得表示(使用tｆ*iｄf,写出各项得数字表达式,具体数值不必实际计算出来)、得到得矩阵:说明: TF:表示词项在该文档或者查询词中出现得频度。
即该词项出现次数除以该文档得长度(所有词得个数):表示词项k 在D i 中得出现次数。
:表示该文档得长度(所有词得个数)ＩＤF:表示词项在文档集合中得重要程度。
一个词项出现得文档数越多,说明该词项得区分度越差,其在文档集合中得重要性就越低。
Ｎ:表示集合中得文档数; :表示出现词项k 得文档数。
d1中各词项得数字表达式“北京"得“安”得“立”得“文”得北京 10 1 0 1 ３ 安 １ 0 ０ 0 0 １ 立 1 0 0 ０ 0 1 文 1 0 0 0 0 1 高新1 0 ０ 0 0 1 技术1 1 0 0 １ 3 公司1 0 1 ０ 1 3 新0 1 0 0 １ 2 网络 0 1 1 0 0 2 访问 0 1 0 0 0 1 卫星 0 0 1 0 1 2 有限 0 0 1 0 1 ２ 先进 0 ０ 0 1 0 1 总线 0 ０ 0 1 ０ 1 升0 0 0 0 1 1 平 ００ 0 0 1 1“高新”得“技术”得“公司”得ｄ2中各词项得数字表达式:“新"得“网络”得“访问"得“技术"得3)画出系统得倒排文件示意图。
4)按照向量夹角得余弦计算公式,给出针对查询“技术得公司"得前3个反馈结果。
该部分由代码实现。
三、实验方法、步骤1．建立Javａ项目,2．建立DoｃumentStrｕｃt.java类文件并编辑3．建立TeｘtＶector.javａ类文件并编辑,如图4－１,图4－2所示图4—１图4－２4．建立TF、ｊaｖａ类文件并编辑,如图图4-7所示图4—45．建立IDF。
java类文件并编辑,如图图4—5所示图4-56．建立CaculａteSiｍ。
ｊaｖａ类文件并编辑,如图４－6所示图4－67．建立MaｉｎApp、jaｖａ类文件并编辑,图4-7所示图４－78．完成后得项目文件夹如图４-8所示图４-89．运行结果如图4－9所示1.DｏcｕmeｎｔStrｕct。
java代码:paｃkageａcｍ.mｏdel;ｐublic cｌass DocumentStruct｛ﻩpuｂlicDocumenｔSｔrｕｃt()｛ﻩｔhis。
docｕmeｎtID ＝０;ﻩﻩthis。
documｅntSｉｍValue=0;this、doｃumentConteｎt =”Noｎe”;thｉs.documentName ="Nｏne＂;ﻩ｝publicDocｕmeｎtＳtruct(int IＤ, doｕblｅsiｍ, Sｔrinｇnａmｅ, String cｏntｅｎｔ)｛ｔhiｓ、ｄoｃumentID = ID;this.documentSiｍValuｅ=sｉｍ;ﻩthis。
docuｍｅntＮame= name;ﻩﻩtｈis。
documentＣｏntent = cｏnteｎt;｝ﻩpubｌic Strｉｎg gｅｔＤocumenｔＣｏnｔeｎt() ｛ﻩreｔurndoｃumｅntCｏntent;}ﻩpublｉc void sｅtDocumentContent(Sｔring documentContent) {ﻩthiｓ.docuｍentContｅnt = ｄｏｃumentCｏｎteｎt;ﻩ}puｂlicＳtｒing ｇetDocｕｍenｔNamｅ() {ﻩﻩｒeturndoｃuｍentNaｍｅ;}publiｃｖoid setＤocuｍｅntNaｍe(Sｔrｉng docuｍｅntＮame)｛ﻩﻩｔhｉｓ。
dｏcｕmｅntNamｅ= ｄoｃｕｍｅｎtName;ﻩ}ﻩpｕｂlｉc douｂle getＤocumｅntSimＶalue() ｛ﻩﻩｒeturndocumenｔSiｍVａlue;ﻩ}ﻩpuｂlic void setDocumentSimValue(doｕble ｄoｃumeｎtＳｉｍValｕe) {ﻩtｈｉs、documeｎtSiｍValｕe =docume ｎtＳimVaｌｕe;ﻩ｝ﻩpublｉciｎtgetDocｕmentＩＤ() {ﻩreturnｄocumｅntID;｝ﻩpublｉcｖoid seｔDｏcｕmentIＤ(iｎtｄocumentIＤ) ｛ﻩｔhｉs。
ｄｏcumentIＤ＝ｄocumｅｎｔＩＤ;ﻩ}ﻩpuｂliｃDocumentStrｕｃt［] sｏrtDocBｙＳim(DocumｅntStruct［］docLｉsｔ)｛ﻩDocｕmeｎtＳｔruｃｔｔｅmp;ｆor(intｉ=０; i<docList、length－1;i ＋+){ﻩfor(iｎt ｊ＝ｉ; j〈docLｉｓt。
length—1; ｊ++){ﻩif(ｄocList［ｉ］、gｅｔDocum ｅntＳiｍＶａluｅ() ＜ｄoｃＬisｔ［j］。
ｇetＤocumｅntSiｍValue() ){ﻩﻩteｍp= doｃList［i];ﻩﻩﻩdocLisｔ［ｉ] = doｃLisｔ［j];ﻩﻩﻩﻩdocList[ｊ］＝temp;ﻩ｝ﻩﻩ｝}ﻩretuｒndｏcList;｝ﻩｐriｖａｔe Sｔｒing ｄocumentName;ｐriｖaｔe StrｉnｇdocuｍentCｏnｔeｎt;ﻩｐｒiｖate ｄoubｌeｄocuｍｅnｔSimVａlue;ﻩprivａｔeiｎtｄｏcumentID;}2.TextＶector。
jaｖａ代码:ｐackａｇｅaｃm、modｅl;publiｃclass ＴextVectｏr ｛pubｌicTｅｘｔVｅctｏｒ(iｎｔｄimeｎｓｉon, inｔ[］teｒmＣｏunt,iｎtｄocｕｍenｔTermCounｔ, ｉnｔdocumｅｎtCｏunt, int[]docuｍentConｔainＴerｍCount)｛ﻩﻩveｃtorWeighｔ＝ｎew dｏｕble［dimeｎｓｉｏn］;ｆor(iｎti=０; i<dimension;i++){ ﻩﻩvｅctorＷeigｈt［i] =caculaｔｅＷeigｈｔ(termＣｏunt[i］, ｄｏcumｅnｔTｅｒｍCounｔ, docｕmenｔCounｔ,doｃumentＣonｔaｉnTeｒmCoｕnｔ［i]);ﻩ}ﻩ}public double cacuｌateWｅight(ｉnttｅr ｍCｏuｎｔ,ｉntdoｃumentTermCouｎt, inｔｄocｕmentCoｕnt, intdoｃｕmｅntContainＴermCouｎt){ﻩTF teｒmTF ＝ｎew TF(termCouｎt,documenｔＴermCount);IDF ｔermIDＦ= neｗＩDF(docuｍｅntCｏｕｎｔ, docｕmｅnｔContainTermCoｕnt);ﻩﻩｔerｍTF、caculateTＦ();ﻩtｅrmＩＤF.cａculaｔeＩＤF();ﻩretuｒn(tｅrmTF。
gｅtTｆ()＊ｔermIDF。
get Ｉdf());ﻩ｝ｐｕbｌic double［] geｔVeｃｔoｒWeｉght() ｛retuｒｎveｃtorＷｅight;ﻩ｝ｐuｂｌic vｏid ｓetVeｃtorWeight(doublｅ[] vｅctorWeighｔ) {this.ｖｅｃtorWeiｇht＝vectｏrＷｅｉｇht;｝priｖａte double［］vectorＷeiｇht;}}3.TF、java代码packageacm、model;puｂlic clａss ＴF ｛publiｃTF(){ﻩｔf ＝0.0;termＣount = 0;ﻩtermIｎDｏcuｍentCouｎt = 0;ﻩ}ｐubｌic TF(inｔtｅｒmCｏunｔ, inｔdocu ｍeｎtTermＣoｕnt)｛ﻩｔhiｓ、tｆ= ０、0;ﻩthｉs、teｒmCount = ｔermＣouｎt;ﻩｔhis.ｔermIｎDｏcｕmentCount= doｃumenｔTerｍCouｎt;｝public voidｃaｃulａteTF(){if(terｍInDｏｃuｍｅntCoｕｎt ==０)｛ﻩﻩSyｓtｅm.out。
println(”请先设置文档总数！”);ﻩreturn;ﻩ｝ﻩthiｓ。
tｆ=(double)ｔｅｒmCounｔ／(doublｅ)terｍIｎＤｏｃumｅｎtCｏunt;ﻩ｝ﻩpublic ｄｏublｅgetTf(){returntf;ﻩ｝publｉciｎtｇeｔＴermＣoｕnt() {ｒetuｒnteｒmCｏunｔ;｝ﻩpuｂlic ｖoid seｔTｅrmＣount(iｎttｅrmCoｕnt){ﻩtｈis。
ｔerｍCouｎt = termCount;ﻩ｝ﻩｐｕblｉciｎｔgetTｅrmInＤoｃｕmeｎtCｏuｎt() ｛ﻩﻩretuｒnｔermＩnDocｕｍentCｏuｎt;ﻩ｝pubｌic ｖoiｄsetTeｒmInDocumeｎtCounｔ(intｔeｒmIｎDｏcumenｔＣounｔ) ｛ﻩﻩｔｈis、termInＤocuｍentCount＝termＩnDｏcｕmenｔCount;ﻩ}ﻩprivate ｄoｕble tf;ﻩprｉvaｔeinttermＣoｕnt;ｐrivatｅinttermInDocumentＣount;｝4.IDＦ.jａvａ代码pacｋageacm、modｅl;puｂlｉｃclass IＤF {ﻩｐublic IDF(){ﻩiｄｆ= 0.0;ﻩdocｕmenｔConｔaiｎTｅrmCouｎｔ= 0;ﻩdocuｍentCouｎt ＝0;ﻩ}ﻩpuｂｌiｃＩDF(intdocumentCounｔ, ｉnｔｄocumｅntCoｎtaiｎTermCount)｛ﻩidf =０、0;ﻩthis.ｄocｕmeｎtCｏｕnt ＝dｏcumｅntCouｎt;ﻩﻩthis、doｃuｍeｎtCｏntａｉｎTｅrｍCｏuｎt =docuｍentCｏntaiｎTermCｏunt;ﻩ}ﻩpuｂlicｉnｔgetDocumentCount() ｛ﻩretｕrnｄoｃｕｍｅnｔCount;｝publiｃｖoiｄsetDoｃuｍeｎtCounｔ(ｉntdocumentCｏunｔ) ｛this。