２０１０年第１２期　福　建　电脑　７５　非对称性相关技术应用于商业数据分析的研究　吴学超　（福建新大陆电脑股份有限公司福建福州３５００１５）　

【摘要】：通过条码识读设备和税控收款机可以容易地收集到大量的商业数据（购物篮数据），对这样　的商业数据的相关分析是商业辅助决策系统的一项重要内容。文章首先研究了购物篮数据项间的相关性，　分析了其非对称性的特点，引入了衡量非对称相关性的方法；并对统计独立性进行了研究，提出基于信息　熵的新方法用于检验非对称相关的统计独立性。最后，通过一个实例验证了上述方法的有效性。　【关键词】：数据挖掘；购物篮分析；相关性；对称性　

在商业领域．条码技术和税控收款机技术的发展　使得商场、超市能容易地收集、存储大量的销售记录，　这些商业数据也称为购物篮数据（ｂａｓｋｅｔ　ｄａｔａ）…　。在研　制新大陆税控收款机增值服务系统（商业营销辅助决　策系统）过程中，我们提出使用数据挖掘模型作为系统　的基础技术架构．购物篮数据分析是其中的一项关键　技术。　关联ｒａｓｓｏｃｉａｔｉｏｎ）分析是数据挖掘技术在购物篮数　据分析中的一项典型应用．其目的是挖掘购物篮数据　项间的有趣联系。在关联分析领域，已提出著名的　Ａｐｒｉｏｒｉ算法用于关联规则挖掘．Ｂｒｉｎ等人将关联规则推　广到相关（ＣＯｒｒｅｌａｔｉｏｎ）分析，文献［４，５］给出了相关分析　在商业领域的一些应用。然而．在构造商业数据挖掘模　型时．我们发现商品间的相关性存在明显的非对称现　象．这种特性使得上述经典技术和方法的有效性大大　降低。为此，本文研究了一种描述商品间这种非对称相　关的方法．并对其统计独立性进行了分析，在指出传统　方法缺点的基础上。提出了一种基于信息熵新方法．并　在实际购物篮数据上进行了实例验证　本文第１节主要介绍相关性分析的有关背景知识　和相关研究工作：第２节探讨非对称相关性的度量方法　以及基于信息熵的统计检验方法：第３节通过实例对研　究成果进行验证：最后在第４节结束语中对本文研究成　果进行总结并简要介绍研究成果的应用成效。　１、购物篮数据及其相关分析　商品间的相关性分析由关联分析延伸而来．下面　使用关联规则挖掘　中的一些记号和定义来描述购　物篮数据及其相关分析。　定义１事务：事务是顾客一次交易所购买的全部　商品的集合　所有事务的集合构成一个事务数据库，记为Ｔ。Ｔ也　就是本文涉及的购物篮数据的集合。ＩＴｌ表示Ｔ中的事务　总数。　定义２项：事务数据库中的一个字段，也就是一种　商品，用ｘ１，ｘ２，…表示。　定义３项集：项集Ｉ　＝｛ｘ。，ｘ：，…，ｘ　｝为ｋ个项的集合。Ｉ　也称为ｋ一项集　定义４关联规则：对于包含ｎ个项的事务数据集Ｔ．　形如ＡｆＢ的规则为Ｔ的关联规则，其中Ａ、ＢｃＩ　是非空项　

集．且ＡｎＢ＝　关联规则描述的是各种商品之间的关联关系．这　种关系以（一些商品Ａ）ｆ（另一些商品Ｂ）的形式表示，其　含义是顾客在购买商品Ａ的同时也倾向于购买商品Ｂ　关联规则的“有趣程度”用下列的支持度和置信度衡　量。　定义５支持度：考虑任意项集Ｉ，若Ｔ中ｓ％的事务包　含Ｉ．称Ｉ的支持度为ｓ％。　定义６置信度：对于形如Ａ　Ｂ的关联规则，若Ｔ中　包含项集Ａ的事务中有ｃ％的事务也包含项集Ｂ．则关联　规￣ＪＡ（Ｂ的置信度为ｃ％。　从统计学的角度看．项集Ａ、Ｂ在事务数据Ｔ中的出　现可以看作两个随机变量Ｘ、Ｙ的２个事件Ｘ＝Ａ和Ｙ＝Ｂ。　为叙述方便．在不引起混淆的情况下，下文将直接使用　Ａ表示事件Ｘ＝Ａ，Ｂ表示事件Ｙ＝Ｂ。这样，规则ＡｆＢ的支　持度可以表示为概率Ｐ（ＡｕＢ１，置信度为条件概率Ｐ（ＢＩ　Ａ），分别反映了规则的有用性（同时购买项集Ａ和Ｂ的所　有商品的可能性有多大）和确定性ｆ购买了项集Ａ中的　商品的顾客同时购买了Ｂ中商品的可能性有多大１。若　一条规则的支持度和置信度分别大于给定的最小阈　值．称这样的规则是“有趣的”。相关分析从使用支持　度一置信度架构的关联分析扩充而来．通常．当Ａ并非独　立于Ｂ出现时．称Ａ和Ｂ是相关的。　定义７相关：对于项集Ａ和项集Ｂ，若Ｐ（ＡｕＢ）≠Ｐ　（Ａ）Ｐ（Ｂ），则项集Ａ和项集Ｂ是相关的。　定３Ｌ８相关规则：形如Ｉ　＝｛ｘ　，ｘ２，…，ｘｋ｝这样的项集，　其中项ｘＩ’ｘ　一，Ｘｋ的出现是相关的。　购物篮数据项间的此类相关性是很常见的．但其　中的一些相关可能是随机发生的。假设某个顾客根据　７６　福建电脑　２０１０年第１２期　自己的需要同时购买了两样商品．此时可以认为这两　样商品是有关联的．因为它们同时出现在了一个事务　中，但是对于商家每天产生的大量事务而言，某一个顾　客的行为并不具备统计上的意义．该顾客也许只是一　次偶然的需要而同时购买了这两样商品．构成了这两　样商品之间随机的相关。直观上理解，只有“许多”顾客　都同时购买了这两样商品．才可以判断为这样的关联　购买行为具有普遍意义　因此．需要检验商品间这种相　关性的可信度。　有许多方法可以进行统计独立性的检查．统计假设　检验就是其中一种常用方法。这里，首先假设Ａ和Ｂ是独　立的，构造一个合适的统计量，如ｘ　（卡方），用ｘ‘值度量　Ａ和Ｂ实际同时出现的概率和期望同时出现的概率之间　的偏差，查自由度为１的卡方表，可以得到一个概率ｐ％，　说明可以在１－ｐ％的置信度上接受Ａ和Ｂ是相关的这个　假设。特别地，当ｘ‘＝３．８４ｆｌ￣ｐ＝５％。即ｘ‘≥３．８４时可以获得　９５％以上的高置信度　在购物篮分析中．使用卡方检验　是发现统计上显著非随机关联的有效方法…　．但也存　在局限性．例￣８ｌＡｈｍｅｄ已经证明在大于２ｘ２的相关表上　‘检验是错误的【４］。　２．非对称性相关及其检验　本节首先分析购物篮数据的非对称相关现象．给　出衡量项问非对称相关性的方法．最后研究一种适合　于对这种非对称相关性进行统计检验的方法　２．１购物篮数据项间的非对称相关性　基于项间的相关性挖掘定义８所示的相关规则对　商家而言有重大的现实意义。例如，相关规则ｆｘ．，）【＇，…，ｘ　）　可以提示管理人员ｘｌ＇ｘ　一＇ｘｌ历代表的商品是紧密相关　的，对其中呈现正相关的商品ｆ能够互相提升购买的商　品），应调整商品陈列、主动促销，产生更大的效益；对　于负相关的商品。应调整商品结构，积极调整扶持对能　给商家带来最大效益的商品或品类　通过对实际购物　篮数据的分析，我们发现相关规则ｆｘ＇＇ｘ　一，ｘ　｝中项间的　相关性是非对称的。下面给出一个直观的例子。　例１在我们的实际购物篮数据ｆ详见第３节．总事务　数为５２０２０）中有一对商品（ａ，ｂ），事务集中包含ａ的事务　数为８６。包含ｂ的事务数为３１．同时包含ａ和ｂ的事务数　为ｌ８。这样，购买ａ商品的顾客同时购买ｂ商品的概率可　１ｏ　估计为Ｐ（１）Ｉａ）＝　一２１％。而购买ｂ商品的顾客同时购买　ａ商品Ｉ￣Ｐ（ａｌｂ）＝　５８％。　３１　显然。项对＜ａ，ｂ＞与＜ｂ，ａ＞的相关性是有很大差异　的。Ｐ０ａｌａ）为２１％表明购买ａ商品的顾客中有２１％的可能　会购买ｂ商品。意味着ｆ若这种相关性有很高的置信度　的话１　ａ商品对ｂ商品的提升率只有２０％左右。另一方　面。从Ｐ（ａｌｂ１—５８％可知ｂ商品对ａ商品的提升率达到了　５０％以上。因此，对商家来说．ｂ商品显得更为重要，因　为促销ｂ商品的效果将明显好于促销ａ商品的效果。　项间内的这种非对称性相关在实际的购物篮数据　中是普遍存在的，有必要对其进行深入研究，探讨度量　项间非对称相关性和检验此类非对称相关性置信度的　有效方法．为商家实施商品，品类的精细管理提供辅助　支持。２．２节和２．３节将分别研究这两个问题。　２．２非对称相关性的度量　考虑两个有序项集对＜Ａ，Ｂ＞和＜Ｂ，Ａ＞，Ａ　ｆ＇ｌＢ＝（，根　据定义７。其相关程度通常用以下公式计算　：　ｃＤ　ｅｌａｆｉｏｎ（Ａ，　）：—Ｐ（Ａ—ｕ　Ｂ）　（１）　

Ｐ（　）Ｐ（Ｂ）　这里，Ｃｏｒｒｅｌａｔｉｏｎ（Ａ，Ｂ）小于１表示Ａ和Ｂ负相关：大于　１表示正相关．意味着每一个的出现都蕴含另一个的出　现。由公式（１）可知Ｃｏｒｒｅｌａｔｉｏｎ（Ａ，Ｂ）＝Ｃｏｒｒｅｌａｔｉｏｎ（Ｂ，Ａ），　意味着若基于这种传统的相关性衡量方法，＜Ａ。Ｂ＞和＜　Ｂ，Ａ＞将具有相同的ｆ对称的１相关性。这无法满足２．１节　指出的实际购物篮数据普遍存在的非对称相关分析的　需求。　为此，引入一种新的度量：提升度Ｌｉｆｔ，用于衡量有　序项集对＜Ａ，Ｂ＞和＜Ｂ＿Ａ＞的相关性：　Ｌ／ｆｌ＜Ａ，Ｂ＞：—Ｐ（Ａ￣Ｂ）－—Ｐ（Ａ）Ｐ（Ｂ）　（２）　

尸（　）　

Ｌｉｆｔ＜Ｂ，Ａ＞：—Ｐ（ＡｗＢ）－—Ｐ（Ａ）Ｐ（Ｂ）　（３）　

Ｐ　）　数值上．Ｌｉｆｔ＜Ａ．Ｂ＞是实际Ａ和Ｂ同时出现的概率与　期望Ａ和Ｂ同时出现的概率差除以Ａ出现的概率。　Ｌｉｆｔ＜Ａ，Ｂ＞≠Ｌｈ＜Ｂ，Ａ＞，体现Ｔ＜Ａ，Ｂ＞和＜Ｂ，Ａ＞非对称　的相关性。使用例ｌ的数据，Ｌｉｆｔ＜ａ，ｂ＞：—１８－８６ｘ３—１／５２０２０　

８６　０．２０８７，Ｌｉｆｔ＜ｂ，ａ＞：—１８－８６ｘ３—１／５２０２０　０．５７９０。根据２．　

３ｌ　

１节分析．Ｌｉｆｔ＜ａ’ｂ＞和Ｌｉｆｔ＜ｂ，ａ＞的数值比较客观地反映　了＜Ａ，Ｂ＞和＜Ｂ＇Ａ＞有区别的相关程度。　根据贝叶斯公式同，Ｐ（Ａ　ｕ　Ｂ）＝Ｐ（Ａ）Ｐ（ＢＩＡ）＝Ｐ（Ｂ）Ｐ（ＡＩ　Ｂ），因此公式（２）和（３）可进一步简化为Ｌｉｆｔ＜Ａ，Ｂ＞＝Ｐ（ＢＩＡ）　

一Ｐ（Ｂ）￣ＮＬｉｆｔ＜Ｂ，Ａ＞＝Ｐ（ＡＩＢ）一Ｐ（Ａ），这与Ａｈｍｅｄ定义Ｈ是相　符的。１：２Ｌｉｆｌ＜Ａ，Ｂ＞为例，从简化公式易知Ｌｉｆｌ＜Ａ，Ｂ＞∈［一　１，十１］，当Ａ与Ｂ相互独立时，Ｌｉｆｔ＜Ａ，Ｂ＞接近于Ｏ；当Ａ相　对于Ｂ是正相关时Ｌｉｆｔ＜Ａ。Ｂ＞大于０；当Ａ相对于Ｂ是负　相关时Ｌｉｆｔ＜Ａ，Ｂ＞ｄｘ于０；ＩＬｉｆｔ＜Ａ，Ｂ＞Ｉ越大，表示相关程度　越高。　由于当Ａ与Ｂ相互独立时．Ｈｆｔ＜Ａ。Ｂ＞等于或接近于　０，故可以在数据挖掘模型中设定了一个阈值６　＞０，　Ｌｉｆｌ＜Ａ，Ｂ＞≥６．　时认为Ａ相对于Ｂ可能具有显著的正相　关性（这里不考虑负相关，因为Ａ与Ｂ间若存在显著负相　关，则应存在有满足ｕｆｔ＜Ｂ，Ａ＞≥８。　的项集对），再使用