理 论 研 究2014年01(下)TECHNOLOGICAL PIONEERS125科技创业家 TECHNOLOGICAL PIONEERS1 引言随着新一代信息技术的融合发展,物联网、移动互联网、数字家庭、社会化网络等应用使得数据规模快速扩大,处理和分析大数据的的需求日益旺盛,兴起了大数据热潮,使得大数据领域飞速发展。
反过来,大数据的分析、处理、优化结果又反馈到生产实际当中,进一步改善了生产效率,进而推动新一代信息技术产业的向前发展。
根据美国德克萨斯大学对各个行业和大型企业的数据利用率和人均产出率进行的广泛研究得出如下结论:数据分析实用效率每提高10%,财富100强中的企业人均产出提高14.4%,零售行业人均产出分别提高49%,咨询服务行业人均产出分别提高39%,传统行业人均产出都可提高20%以上。
由此可见,伴随着我国国民经济的快速发展,急需加强在大数据领域的基础研究和技术发展,促进我国经济又好又快发展。
早在2010年10月,国家发改委、工信部就联合发布通知,确定在北京、上海、深圳、杭州、无锡开展云计算服务创新发展试点,明确了国家发展云计算的总体思路和战略布局。
在1980年美国社会思想家托夫勒的《第三次浪潮》中就预言到,“如果说IBM的主机拉开了信息化革命的大幕,那么大数据则是第三次浪潮的华彩乐章”。
2011年麦肯锡全球研究院发布研究报告,“大数据”一词首次正式被提出,这份报告讲解了处理这些数据能够释放出的潜在价值,认为对大数据的分析与挖掘,会在经济生活中产生巨大效益,从此,全球开始了对大数据的前所未有的关注。
近几年来,《Nature》和《Science》等国际顶级学术刊物相继出版专刊探讨大数据的研究,报道人类已迈进PB(1015)规模的大数据时代,并从互联网技术、环境科学、生物医药等方面介绍了大数据所带来的技术挑战。
同时,2012年美国政府宣布启动“大数据计划”,包括NSF、NIH、DoE、USGS等六家美国联邦机构将首期资助2亿多美元用于大数据相关研究及工具和技术的研发,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署,美国政府认为大数据是“未来的新石油”,把大数据研究上升为国家发展战略。
当今全球的数据量已达到ZB(1021)级,数据正以前所未有的速度在不断的增长和累积,但是人类对这些数据的利用率却很低。
学术界、工业界甚至于政府机构都已经开始密切关注大数据问题,并对其产生了浓厚的兴趣。
我国也高度重视大数据技术的产业发展,特别是近期,中国研制的天河二号超级计算机系统,成为全球最快的超级计算机,计算速度达到每秒3.39ⅹ1016次双精度浮点运算,进一步加强了我国大数据科学研究的基础设施,为促进大数据应用开发奠定基础,为我国在大数据领域掌握了竞争主动权。
大型IT跨国企业成为发展大数据处理技术的主要推动者,如IBM、Orecal、Microsoft、Google、Amazon、Facebook等企业,均已发布了应对大数据的挑战的相关解决方案。
特别是IBM公司,早在2005年就提出了智慧地球的概念,阐释了不仅能从大数据的分析中获取洞察力,更能将这些洞察力转化为强有力的行动。
通过查找、可视化和了解所有大数据可以改进决策制定过程;通过分析各种各样的机器数据和运营数据,以获得更好的业绩;通过整合其他内部和外部信息扩展现有的客户视图;通过整合大数据和数据仓库,提高操作效率;通过实时监控网络安全,检测欺诈,降低风险。
IBM将数据分析作为其大数据战略的核心,其海量数据分析平台InfoSphereBigInsights等相关产品经过了一系列创新,可以更好地支持大数据处理。
全球最大的社交网站Facebook,利用社交网络收集了海量用户行为和网络群组关系数据,将这些海量数据利用用户行为分析系统分析出海量用户的行为习惯,定向对不同用户群组发布针对性的广告,获得了巨额收益。
大型数据库软件开发公司Oracle,在现有的数据库产品中引入数据挖掘和分析技术,再配合其大型的云计算中心,组成大数据系统解决方案。
2 大数据应用实施关键技术大数据技术涉及计算机、应用数学等几乎所有的学科领域。
大数据关键技术不仅包括数据存储与分析技术等核心技术,也包括数据处理、数据管理、数据呈现等重要技术。
近年来掀起的云计算热潮,已经应用于社会生产的各个方面。
数据存储方面,亚马逊公司是先行者,它的S3云服务已经成为了云存储的业界标准。
无论在用户使用、商业模式、所提供服务的便捷性和规模增长,亚马逊公司都为这些领域提供了经典范例。
还有围绕NoSQL的新技术和模式,10gen的MongoDB,DataStax的Hadoop构建方案Cassandra,NoSQL数据库技术提供商Couchbase等等。
数据处理方面,Hadoop公司的GoogleMapReduce的大数据分布式处理架构是大数据生态系统的主角,许多的商业和产品的创新也围绕这个架构产生。
如由雅虎分拆的HortonWorks,有Hadoop创始人DougCutting坐镇的Cloudera,提升Hadoop速度的MapR等。
数据分析技术包括数据挖掘、机器学习等人工智能、商业智能技术,涉及关联规则挖掘、集成学习、遗传算法、神经网络、优化、模式识别、预测模型、回归、统计、时间序列分析、关联规则学习、聚类分析等。
数据挖掘技术,是指通过分析每个数据,从大量数据中寻找其规律的技术,它是一组结合数据库管理的统计和机器学习方法从大数据集提取模式的技术。
机器学习技术,是使计算机模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
大数据技术是一系列技术的集合,任何单一的软件产品都无法完全解决大数据问题,需要一整套全面的解决方案。
需要各种应用系统能够根据需要获取计算能力、存储空间和各种软件,并通过各种网络传递给各种使用者。
3 信息通信业大数据发展现状3.1信息通信业数据业务特征与需求分析巨大的用户基数。
电信业务已经成为人们生活中的必需品,用户数量非常巨大,整体市场饱和程度逐步提高。
截至2013年6月底,我国网民数量达到5.91亿,手机网民规模达4.64亿,网民中使用手机上网的人群占比提升至78.5%。
拥有数据资源。
随着3G的普及,无线上网和智能手机得到了高速发展,手机上网流量迅速增长,导致电信行业数据量呈现爆炸性增长。
电信运营商通过部署相应数据挖掘的技术可以获得几种数据类型。
一是人用户入网登记数据,主要包括在登记时提交的个人姓名、性别等数据、手机号码、IEMI、状态码等数据。
二是计费系统记录的数据,主要包括用户的套餐选择数据、资费数据、消费历史等。
三是以用户位置数大数据在移动通信中的应用探讨谢华(联通通信建设有限公司上海分公司 上海 200050)摘 要:互联网的快速发展,计算机运算处理能力的日益强大,云计算和数据中心的兴起,促使大数据时代快速到来。
如何充分有效利用大数据技术,获取其中蕴藏的巨大价值,这些已经成为大数据时代所面临的主要任务。
通过大数据分析技术的创新发展,可以极大增强国民经济可持续发展动力。
本文首先对目前主要的大数据分析方法、技术和应用进行了分析;进而对移动通信业大数据分析的前景进行展望;最后阐述了我们在移动通信业大数据应用方面的几点建议。
关键字:大数据 移动通信 数据分析作者简介:谢华(1977—),男,山西朔州人,大学本科,联通通信建设有限责任公司,工程师,主要从事通信网络建设工作。
理 论 研 究2014年01(下)TECHNOLOGICAL PIONEERS126科技创业家 TECHNOLOGICAL PIONEERS据,通过分析用户接入基站地址,获得用户位置。
主要包括基站位置(经度、纬度)、所属NodeB、SGSN IP、GGSN IP等数据。
四是用户行为数据,包括用户业务使用类型、访问网站(URL)、经常使用的软件类型,登陆访问时间、上行流量、下行流量等数据。
通信用户数以亿计的基数保证了数据的海量和多样性,通信网络的实时承载保证了数据的速度,更重要的是,电信运营商还可以搜集到用户位置、大体收入、行为习惯等有价值的数据,进而为精准营销提供参考。
因此,电信运营商在掌握用户行为数据方面具有先天优势,一般互联网厂商所望尘莫及。
随着智能手机和高速网络的普及,运营商能够获得的用户行为数据还将更为丰富。
3.2国内外信息通信业大数据应用典型案例对于电信运营商而言,海量的数据以前并未带来可观的收入,电信运营商在大数据领域的探索遇到了平台建设、技术路线、安全隐私问题等方面的问题,但当今,国内外作为电信产业链核心地位的电信运营商的业务也开始了面向大数据的调整和转变。
一方面,电信运营商创造出基于大数据的新业务模式。
以法国最大的电信运营商法国电信为例,其承担了法国很多公共服务项目的IT系统建设,在这些信息系统中,法国电信开始尝试挖掘大数据的潜在价值。
比如,法国电信承建了一个法国高速公路数据监测项目,每天都会产生500万条记录,对这些记录进行分析就能为行驶于高速公路上的车辆提供准确及时的信息,从而有效提高道路通畅率。
2012年,西班牙电信英国公司与市场研究公司GFK联手,成立名为西班牙电信数字洞察(TelefonicaDigital Insights)的新部门,在巴西、英国推出了名为智慧足迹(Smart Steps)的首款产品,该产品基于完全匿名和聚合的移动网络数据,可对某个时段、某个地点人流量的关键影响因素进行分析,并将分析结果面提供给政企客户,帮助政府和企业进行相关决策。
另一方面,电信运营商将自身的运营与大数据结合起来,通过对用户的网络使用数据进行分析,并将分析结果用于网络建设和优化;通过对用户通信消费行为的挖掘分析,在业务拓展的用户精确营销方面有的放矢。
电信运营商抓住大数据带来机会,选用数据挖掘产品来为用户数据和其商业活动建立探索模型,来预测潜在客户的购买方向,掌握他们变成用户之后的可能价值,根据数据挖掘的结果来了解哪些人会购买哪些服务和产品,以维系现有客户,获取新客户。
针对某个客户群体设计一种新的产品,以达到满足用户差异化需求,从而增加产品收入,提高市场占有率。
东南亚最大的电信公司新加坡电信(SingTel)就公开表示,分析大数据的工作将作为公司未来最重要一项工作。
4 信息通信企业大数据应用策略4.1发展大数据存储分析和处理技术伴随着大数据时代的来临,企业面临海量信息存储的需求,其迫切需要解决的问题就是提升数据存储能力,因为只有将数据妥善存储,才有可能进一步挖掘其潜在价值,而提升数据存储能力则给运营商提供了新的商业机遇。
各大电信运营商利用自身优势相继推出建设数据中心建设和云计算中心的雄伟计划。
针对大数据的容量需求,存储虚拟化是目前为止提高容量效率最重要最有效的解决方案,它为缺乏这些能力的现有存储系统拓展了自动分层和精简配置等存储效率的工具。