2016年第2期信息与电脑China Computer&Communication大数据
大数据是继互联网、云计算技术后世界又一热议的信息技术，近几年来发展十分迅速。大数据技术的出现，给人们的生活带来了极大的便利。我们将生活中的东西数据化之后，就可以采用数据的格式对其进行存储、分析，从而获得更大的价值。１ 大数据技术的特点分析1.1 开源软件得到广泛的应用近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库Hbase、MongoDb和CounchDB等开源软件，在各行各业具有十分重要的意义。这些软件的研发，与大数据技术的发展是分不开的。1.2 不断引进人工智能技术大数据技术主要是从巨大的数据中获取有用的数据，进而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们被无数的信息覆盖，大数据技术的发展显得十分迫切。实现对大数据的智能处理，提高数据处理水平，需要不断引进人工智能技术，大数据的管理、分析、可视化等。机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术，已经完全渗透到了大数据的各个程序中，成为其中的重要组成部分。1.3 非结构化的数据处理技术越来越受重视大数据技术包含多种多样的数据处理技术。非结构化的处理数据与传统的文本信息存在很大的不同，主要是指图片、文档、视频等数据形式。随着云计算技术的发展，各方面对这类数据处理技术的需求越来越广泛。非结构化数据采集技术、NoSQL数据库等技术发展的越来越快。1.4 分布式处理架构成为大数据处理的主要模式大数据要处理的数据成千上万。数据的处理方法也需要不断地与时俱进。传统的数据处理方法很难满足巨大的数据的需求。随着人们的不断探索，在大数据技术的各个处理环节，分布式处理方式已经成为主要的数据处理方法。这也是时代发展的必然。除了分布式处理方式，分布式文件系统、大规模并进行处理数据库、分布式编程环境等技术都得到了广泛的应用。２ 大数据技术的未来发展趋势分析就现今发展趋势而言，大数据技术的发展如火如荼。在各个领域都得到了广泛的应用，大数据技术具有十分良好的发展前景。现在社会的大数据公司主要可以分为三大类：技术型、创新型、数据型，不论是哪一种类型的大数据公司，都不可或缺。人们熟悉的技术型的大数据公司通常是IT公司，这些公司十分看重数据处理。创新型大数据公司需要一些非常有想象力的人，对于相同的数据，他们往往有不同的见解，并发现其中的不同。而数据型的大数据公司，如新浪、百度、网易、搜狐、淘宝等，或零售连锁企业、市政公司、金融服务公司等，与人们日常生活密切相关，这些公司自身拥有较多的数据，也正是因为涵盖的数据较多，容易导致有价值的信息被忽略。在这三种不同的大数据公司中，技术型的大数据公司未来的发展将会使得技术趋向于多元化，制造出越来越多样的技术。不论是从哪个方面来说，大数据技术今后的发展都会越来越好。2.1 数据分析成为大数据技术的核心数据分析在数据处理过程中占据十分重要的位置，随着时代的发展，数据分析也会逐渐成为大数据技术的核心。大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。未来大数据技术的进一步发展，与数据分析是密切相关的。2.2 广泛采用实时性的数据处理方式在现如今人们的生活中，人们获取信息的速度较快。为了更好地满足人们的需求，大数据处理系统的处理方式也需要不断地与时俱进。目前大数据的处理系统采用的主要是批量化的处理方式，这种数据处理方式有一定的局限性，主要是用于数据报告的频率不需要达到分钟级别的场合，而对于要求比较高的场合，这种数据处理方式就达不到要求。传统的数据仓库系统、链路挖掘等应用对数据处理的时间往往以小时或者天为单位。这与大数据自身的发展有点不相适应。大数据突出强调浅析大数据特点及发展趋势郭 帅（长沙市雅礼中学，湖南 长沙 410007）摘 要：随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价值的信息。基于此，主要分析了大数据的特点，并展望未来发展趋势。关键词：大数据；发展趋势；开源软件；人工智能技术中图分类号：G203 文献标识码：A 文章编号：1003-9767（2016）02-025-02
作者简介：郭帅（1998-），男，湖南株洲人，学生在读。研究方向：信息技术。— ２５ —2016年信息与电脑1下-正文（晓京返）.indd252016/2/2018:36:322016年第2期信息与电脑China Computer&Communication大数据数据的实时性，因而对数据处理也要体现出实时性。如在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒极，要求极高。在一些大数据的应用场合，人们需要及时对获取的信息进行处理并进行适当舍弃，否则很容易造成空间的不足。在未来的发展过程中，实时性的数据处理方式将会成为主流，不断推动大数据技术的发展和进步。2.3 基于云的数据分析平台将更加完善近几年来，云计算技术发展的越来越快，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大数据提供了分布式的计算方法、弹性扩展、相对便宜的存储空间和计算资源等。此外，云计算具有十分丰富的IT资源、分布较为广泛，为大数据技术的发展提供了技术支持。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。2.4 开源软件的发展将会成为推动大数据技术发展的新动力开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活十分重要。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。虽然现如今商业化的软件发展十分迅速，但是二者并不会产生矛盾，可以优势互补，共同进步。开源软件自身在发展的同时，为大数据技术的发展贡献力量。３ 结 语综上所述，随着信息化时代的到来，大数据技术也已经成为了人们生活中不可或缺的重要组成部分，对各个领域的发展、人们的日常生活都具有十分重要的作用。大数据的特点也是有目共睹的，在互联网、云计算发展的推动下，大数据技术未来的发展会朝着更加智能化、先进化、广泛化的方向发展，从而为人们的生活带来更大的便利，为科技的发展注入新的活力。参考文献[1]孟伟,杨青.大数据背景下广播评估体系创新研究—以广西电台频率改革为例[J].河南社会科学,2014(4).[2]冯芷艳,郭迅华,曾大军,等.大数据背景下商务管理研究若干前沿课题[J].管理科学学报,2013(1).[3]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域—大数据的研究现状与科学思考[J].中国科学院院刊,2012(6).[4]钟桂发.大数据时代:构筑中国—东盟博览会新闻信息库的实践与思考[J].中国记者,2014(3).[5]王臻,贺小培,张楠.大数据背景下公共信息服务供给与运营机制的困局与对策—“智慧朝阳服务网”案例分析[J].电子政务,2014(2).对机器学习与数据挖掘的分析需求要提供支持，整个大数据的应用和处理的核心就是要对数据进行分析，挖掘出有价值的有用信息。对自适应选择或者主动选中隐私管理技术的需求要提供支持。在整个大数据管理环境中，不同的隐私保护程度是针对不同类型数据的，与此同时使用到的技术也是不相同的。隐私管理的技术体系就是要能够根据不同数据的类型带来隐私风险的评估结果，自主为大数据隐私管理选择相应的隐私管理技术。目前这些技术有差分隐私保护技术、多方安全技术、隐私信息检索、数据加密等。然后这些技术都是属于被动对隐私进行保护，只能制定对单一数据集的隐私被攻击的策略。而面对大数据的多样性、大规模性就会顾此失彼。只有差分隐私技术在学术界被看好，因为大数据这样大规模的数据中，要对数据进行增减对数据的整体影响都非常小，正好与差分隐私定义的性质相吻合。1.5 问责系统问责系统是记录所有数据的管理情况的，比如数据的访问者记录、访问时间的记录、访问时是否做过更改和如何使用等。这个系统的核心就是对数据进行追踪溯源。工作流是实现问责工作的重要技术，对所有工作流过的路径问责。其中的方法有数据标记法、数据的集成式追踪方法和数据驱动追踪方法。主动进行隐私保护管理的这几部分系统很关键，隐私主动保护管理技术是整个系统的核心和关键，而底层隐私风险主动监测和隐私风险主动评估是管理技术的支持，法律法规和问责系统为隐私的主动保护提供了双层保障，确保整个系统能够可靠的运行。２ 主动保护技术所面临的挑战整个对隐私主动保护的框架已建立，但是功能的实现还存在着诸多挑战。2.1 主动监测和主动评估体系所面临的挑战如果隐私见识的方法太简单就不能满足共享众多数据源的需求。而评估方法太粗陋也是不能满足众多数据源共享的需求。所以，隐私的监测和评估策略如何制定，新型隐私风险如何分类和划分等级都具有很大胆挑战。2.2 隐私主动管理技术所面临的挑战大数据有数量巨大，处理速度快、数据类别多、利用价值高等特点，所以这就给隐私保护技术带来了很大的挑战，要把这些多源的庞大数据所面临的新型攻击的模型设计好，要让主动去保护隐私的技术不要滞留在被动管理的层面，这些问题都是巨大的挑战。2.3 问责系统中的挑战能够对数据进行追踪溯源是系统能做到的最理想状态。大数据的特性就是错综复杂，要跨领域跨平台的将那些有变化的数据寻出比较困难。并且在这个过程中往往也存在对一些敏感信息的披露。所以要设计出能够自动甄别和的方法很具挑战。３ 结 语本文打破了传统隐私保护的观念，逃出被动地对隐私进行保护的禁锢，针对大数据的特性拟出了中保护隐私的框架。大数据的发展和应用肯定不能忽视对隐私的保护，尽管挑战很大，但是也要通过各个层面来进行保护。不仅是学术界，还需要政府及其他各行各业的共同努力。（上接第24页）
— ２６ —2016年信息与电脑1下-正文（晓京返）.indd262016/2/2018:36:32