1）David 发出虚估Mariner公司公允价值的邮件时间节点与其出售该公司股票的时间吻合 2）David邮件关联人员中，有多人在Mariner公司重要部门担任要职
安然内部交易案－邮件分析 3
2001年11月2日，安然公司宣告破产，这起美国历史上最大的倒 闭事件震惊全球。同时，安然留下的百万封电子邮件，成为了当 时最大规模的公开司法信息数据库。
政 府 各 部 门 公 开 数 据 以量化数据为主 （农业，交通，经济等）link
司法数据
中国裁判文书网
以量化数据为主 link
以量化数据为主 link
以量化数据为主 Link
联邦法院、州法院各自 公开
三大司法系统：英格兰 和威尔士法院，苏格兰 法院，北爱尔兰法院 Link
免费公开最近3个月的 审判 Link
问题规则？ 学习数据？ 信任？！
海量公开信息：G8《开放数据宪章》
2013年6月，8国集团首脑签署了《开放数据宪章》，主要包括14类数据：
数据类别
企业类 司法类 地球观测类 教育类 能源环境类 金融和合约 地理空间 全球发展 政府责任和民主 医疗卫生 科研 统计 社会流动性和福利 交通和基础设施
数据举例
海量公开信息：中外部分国家数据公开对比
公开数据项目
中国
美国
英国
新加坡
工商、专利等数据已公
基本注册信息
仅对新加坡公民和有效
企业公开信息（非上市）开，行政许可、处罚类 各州提供企业注册信息 https://pani 签证持有者提供注册
数据有待完善。
/
.sg/
安然内部30万封邮件被公开，当时最大规模的公开司法数据
自然语义分析：实体抽取，文本分类，事件抽取。 信息：近千条提及Mariner公司的邮件中，David发出的3封邮件对其公允价值进行计算
关联挖掘： 情报： 1）David对Mariner公司的公允价值计算虚假高估 2）邮件发出的时间 vs. David出售Mariner公司股票时间同轴匹配 3）全部邮件中的人名抽取，关联分析David关联人员
搜索事件 4
Mariner公司
美国证监局对David delainey控诉书中，提及其可能与Mariner公司存在关联，需判断是否存在内幕交易行为。
结构化处理－> 跨数据分析研究－> 挖掘关键结点
5
10,000
3
Mariner公司 + David Delainey 出售股票
邮件库中提及Mariner公司的事件有近万条；通过观察Mariner公司的事件时间轴与“David Delainey出售股票”事件的重合点，定位 可疑时间段，缩小范围；该时间段内David 共发出3封邮件，其中一封提及对Mariner的公允价值的计算存在虚假高估的情况。
企业/公司注册信息 犯罪统计、安全 气象/天气、农业、林业、渔业、畜牧业 学校列表、学校绩效、学校数字化能力 污染水平、能源消费 合约预算、承包合约、招标信息、未来的招投标、地方预算、国家预算（计划和开支） 地形、邮政编码、国家地图、地方地图 援助、食品安全、土地 政府合约、选举结果、立法和法令、工资（支付比例）、招待/礼品 处方数据、绩效数据 基因组数据、研究和教育活动、实验结果 全国性统计数据、人口普查数据、基础设施、资源、技能 住房、医疗保险及失业救济金 公共交通时间表、宽带接入点
1
大数据与商业决策
PALANTIR的故事
2
• 硅谷情报分析公司 • 估值200亿美元 • 中情局风投部起家 • 传言协助击毙本拉登 • Palantir情报分析师培训期一年
问题与挑 战
数据 模型 认知
理解
安然公司破产，指控其CEO（David Delaney）与Mariner公司发生内幕交易， 缺乏证据
应用：IMAGE SEARCH ✓
图 像 识 别
应用：AUTO TAG
？
✘
？？
？？？
商业情报分析流程 – 大数据时代的认知
9
对决策的影响
获取数据
✓
分析数据
✓
信息认知
✓
理解解读
决策制定
机器的参与
GO AlphaGO
规则简单 16万对局棋谱 计算量大 几千万自我对局学习
？
？？
？？？ 应用：游戏✓
应用：商业✘
什么是“非结构化数据”结构化ຫໍສະໝຸດ 据非结构化数据文本
图片
语音
视频
带来的机遇与挑战
根据IDG研究报告，2020年全球企业数据将超过34ZB。
EB
其中，80% 的增长来自非结 构化数据。
海量 多维
非结构化文本 结构化数据
更新迅速
挖掘多维关联
此外，对全部邮件事件进行关联挖掘，发现Daivd的关联人员中，多人在Mariner公司重要部门担任要 职。
Palantir 做了什么？
整合不同来源的海量数据
发现其中隐藏的规律与关联
商业情报分析流程 – 大数据时代的认知
8
对决策的影响
获取数据
✓
分析数据
✓
信息认知
✓
理解解读
决策制定
机器的参与
Palantir 通过整合结构化数据（财务交易记录、公司内部图表 等）和非结构化数据（邮件、文档等），并加以分析处理，最终 挖掘出支持指控安然前CEO David delainey进行内幕交易的重要 视频地址：https://证/据20。12/07/palantir-legal-intelligence-analyzing-the-enron-emails/