数据挖掘在金融行业中的运用2013年06 月20 日
金融部门每天的业务都会产生大量数据，利用目前的数据库系统可以有效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。

缺乏挖掘数据背后隐藏的知识的手段，导致了数据爆炸但知识贫乏“的现象。

与此同时，金融机构的运作必然存在金融风险，风险管理是每一个金融机构的重要工作。

利用数据挖掘技术不但可以从这海量的数据中发现隐藏在其后的规律，而且可以很好地降低金融机构存在的风险。

学习和应用数据挖掘技术对我国的金融机构有重要意义。

一.数据挖掘概述
1. 数据挖掘的定义
数据挖掘(data mining)是采用统计、数学、人工智能和神经网络等领域的科学方法，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等技术，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程。

数据挖掘技术是统计技术、计算机技术和人工智能技术等构成的一种新学科。

数据挖掘来源于统计分析，是统计分析方法的扩展和延伸。

大多数的统计分析技术都基于完善的数学理论和高超的技巧，其预测的准确程度还是令人满意的，但对于使用者的知识要求比较高。

而随着计算机能力的不断发展，数据挖掘可以利用相对简单和固定程序完成同样的功能。

新的计算算法的产生如神经网络、决策树使人们不需了解到其内部复杂的原理也可以通过这些方法获得良好的分析和预测效果。

2. 数据挖掘方法
数据挖掘技术是数据库技术、统计技术和人工智能技术发展的产物。

从使用的技术角度，主要的数据挖掘方法包括：
（1）决策树方法：利用树形结构来表示决策集合，这些决策集合通过对数据集的分类产生规则。

国际上最有影响和最早的决策树方法是ID3方法，后来又发展了其它的决策树方法。

（2）规则归纳方法：通过统计方法归纳，提取有价值的if-then规则。

规则归纳技术在数据挖掘中被广泛使用，其中以关联规则挖掘的研究开展得较为积极和深入。

（3）神经网络方法：从结构上模拟生物神经网络，以模型和学习规则为基础，建立3种神经网络模型：前馈式网络、反馈式网络和自组织网络。

这种方法通过训练来学习的非线性预测模型，可以完成分类、聚类和特征挖掘等多种数据挖掘任务。

（4）遗传算法：模拟生物进化过程的算法，由繁殖(选择)、交叉(重组)、变异(突变)三个基本算子组成。

为了应用遗传算法，需要将数据挖掘任务表达为一种搜索问题，从而发挥遗传算法的优化搜索能力。

（5）粗糙集(RoughSet)方法：Rough集理论是由波兰数学家Pawlak在八十年代初提出的一种处理模糊和不精确性问题的新型数学工具。

它特别适合于数据简化，数据相关性的发现，发现数据意义，发现数据的相似或差别，发现数据模式和数据的近似分类等，近年来已被成功地应用在数据挖掘和知识发现研究领域中。

（6）K2最邻近技术：这种技术通过K个最相近的历史记录的组合来辨别新的记录。

这种技术可以作为聚类和偏差分析等挖掘任务。

（7）可视化技术：将信息模式、数据的关联或趋势等以直观的图形方式表示，决策者可以通过可视化技术交互地分析数据关系。

可视化数据分析技术拓宽了传统的图表功能，使用户对数据的剖析更清楚。

3. 数据挖掘功能
数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：
(1)分类：按照分析对象的属性、特征，建立不同的组类来描述事物。

例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。

(2)聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。

例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。

(3)关联规则：关联是某种事物发生时其他事物会发生的这样一种联系。

例如：每天购
买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。

(4)预测：把握分析对象发展的规律，对未来的趋势做出预见。

例如：对未来经济发展的判断。

(5)偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。

例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。

二、数据挖掘技术在金融领域的应用
目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业领域。

数据挖掘所能解决的典型商业问题包括：数据库营销（Database Marketing）、客户群体划分（Customer Segmentation & Classification）、背景分析（Profile Analysis）、交叉销售（Cross-selling）等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。

1.数据挖掘技术在证券行业的应用
数据挖掘在证券行业的应用方向主要有：客户分析、客户管理、财务指标分析、交易数据分析、风险分析、投资组合分析等。

从业务角度看，经纪业务是目前国内券商竞争的焦点，它仍是券商利润的主要来源。

据统计从事经纪业务获得的收入占各主要券商利润来源的80%以上，而中小证券公司90%的利润主要来自证券营业部。

从营销角度看，证券经纪业务是为满足客户需要而提供的一种金融服务活动，营销战略贯穿在证券经纪业务整个活动过程中，分析型客户关系管理(ＣＲＭ)是国内券商(特别是各营业部)尤其关注的技术，而数据挖掘技术是分析型ＣＲＭ的核心技术。

营业部是否真正了解自己的客户，知道他们的特征、分布和习性？谁是真正的有价值的客户，谁在为证券营业部贡献利润？谁带来了当期的利润，谁又有潜在的价值？传统的按资金量大小来区分大、中、小、散客户价值的方法是否真正反映了客户对营业利润的贡献？凡此种种问题可以通过客户价值分析来解决。

它不仅让我们从投入产出角度去看待客户，而且还为营业部的经营方针提供了决策依据。

其典型应用包括有：
(1)客户分析：建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据，并通过对这些数据进行挖掘和关联分析，实现面向主题的信息抽取。

对客户的需求模式和盈利价值进行分类，找出最有价值和盈利潜力的客户群，以及他们最需要的服务，更好地配置资源，改进服务，牢牢抓住最有价值的客户。

通过对客户资源信息进行多角度挖掘，了解客户各项指标(如资产贡献、忠诚度、盈利率、持仓比率等)，掌握客户投诉、客户流失等信息，从而在客户离开券商之前，捕获信息，及时采取措施挽留客户。

(2)咨询服务：根据采集行情和交易数据，结合行情分析，预测未来大盘走势，并发现交易情况随着大盘变化的规律，并根据这些规律做出趋势分析，对客户针对性进行咨询。

(3)风险防范：通过对资金数据的分析，可以控制营业风险，同时可以改变公司总部原来的资金控制模式，并通过横向比较及时了解资金情况，起到风险预警的作用。

(4)经营状况分析：通过数据挖掘，可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息，并结合大盘走势，提供不同行情条件下的最大收益经营方式。

同时，通过对各营业部经营情况的横向比较，以及对本营业部历史数据的纵向比较，对营业部的经营状况作出分析，提出经营建议。

2. 数据挖掘技术在银行业的应用
(1)对账户进行信用等级的评估：银行业是负债经营的产业，风险与效益并存，分析账户的信用等级对于降低风险、增加收益是非常重要的。

利用数据挖掘工具进行信用评估的最终目的是：从已有的数据中分析得到信用评估的规则或标准，即得到“满足什么样条件的账户属于哪一类信用等级”，并将得到的规则或评估标准应用到对新的账户的信用评估，这是一个获取知识并应用知识的过程。

(2)金融市场分析和预测：对庞大的数据进行主成分分析，剔除无关的，甚至是错误的、相互矛盾的数据“杂质”，以更有效地进行金融市场分析和预测。

(3)分析信用卡的使用模式：通过数据挖掘，人们可以得到这样的规则：“什么样的人使用信用卡属于什么样的模式”，而且一个人在相当长的一段时间内，其使用信用卡的习惯往
往是较为固定的。

因此，一方面，通过判别信用卡的使用模式，可以监测到信用卡的恶性透支行为；另一方面，根据信用卡的使用模式，可以识别“合法”用户。

(4)发现隐含在数据后面的不同的财政金融指数之间的联系。

(5)探测金融政策与金融业行情的相互影响的关联关系。

3. 数据挖掘技术在保险业的应用
(1)保险金的确定：对受险人员的分类有助于确定适当的保险金额度。

通过数据挖掘可以得到，对不同行业的人、不同年龄段的人、处于不同社会层次的人的保险金该如何确定。

(2)险种关联分析：分析购买了某种保险的人是否同时购买另一种保险。

预测什么样的顾客会购买新险种。

参考文献：
[1]张玉春.数据挖掘在金融分析中的应用.华南金融电脑.2004
[2]张娴.数据挖掘技术及其在金融领域的应用.金融教学与研究.2003。