可视化大数据管理系统的设计与应用摘要：决策主体结构简单、仅凭直观经验等是传统教育决策的不足之处.促进决策科学化是提升教育水平的重要方向.本文建立了可视化大数据管理系统的架构设计和模型，提出了基于用户需求的建设目标，为建设大数据决策系统提供设计思路，以进一步提升教育决策科学化信息化■文/李莹姚郑潘晶晶设计背景随着各校教育信息化的建设初见成效，网络保障条件日趋成熟，教育信息管理系统等各类基础信息数据库建设工作的逐渐完善，决策主体的数据意识得到了一定提升。

随着技术的普及，大数据已逐渐成为国家基础性战略资源叫近年来，各校均建设了大量的教育教学信息管理系统，如学籍系统、就业系统、资产系统、报道系统、培养系统、招生系统、教师系统等，累积了大量的数据资源,但是因为设计维度和管理角度均不统一，各业务系统基本都是各自独立运行、数据不互通，所以无法整合数据，无法为上层校领导提供统一化整体化的直观学校信息。

而大数据技术作为信息技术对于教育变革的推动力，为教育决策科学化提供了新思路和新方法|2l o大数据技术的发展是提升教育决策科学性的优质驱动力，但数据汇聚与综合应用仍是促进科学决策的一大门槛冋。

教育决策的制定往往会参考一定的数据资源，但数据大都源于决策者的直观经验、印象，并不能全面、系统地反映事实，使决策的科学性受人质疑冋。

为了更好的为决策者提供有力的数据支持，特建立可视化大数据管理系统。

系统简介可视化大数据管理系统通过对高等院校教育基础数据持续、动态、标准化的采集、清洗、转化，实现高等院校教育数据纵向贯通和互联，为准确掌握全校教育基本情况（包括学生、师资、学科、课程、学位、就业等），为科学制定高等院校教育政策、教育资源配置合理化，提供全方位、实时、精准的重要决策数据支撑。

在此基础上，面向校领导及科研院所提供本校学生、教师、课程、学科的基本数据查询、统计报表和各类排行服务，并将可公开数据向社会发布，允许公众通过统计数据了解本校教育基本情况，传播高等院校教育理念和成果。

系统特点可视化大数据管理系统利用云计算基础设施，整合高等院校各类教育基础数据，建立起全校教育信息通用分类标准和基础数据中心，通过基础数据融合和大数据可视化技术，全面掌握全校教育基本状况，全面支持高等院校教育质量评估、教育决策，实现智慧教育管理，促进全校教育资源共享，系统架构1.数据层，系统使用数据库集群存储数据.在数据库中，主要分为两部分，一部分是系统的逻辑数据，另一部分是可视化大数据管理系统所需要的业务数据"而业务数据只用作可视化展示,所以为了避免误操作，此部分数据设置为只读权限H匕心权限展小左报表展示HTML▼业务层VjMWfl1统计W何决▼ftifiQJS••••••___J_服务器层报衣服务器系统服务器▼▼读数据读写数据权限控制图1系统架构66中国教育网络2019.2-3■I 应用系统2. 服务器层，本系统展示的报表和图表较多，根据此需求特 点，将服务器层分为两部分，一部分是系统运行的服务器.另一 部分是提供报表服务的报表服务器3. 业务层，系统本身业务主要包括访问管理、统计访问次数、 系统设置、日志记录、用户权限管理等业务功能：系统根据用户 的角色展示相应的数据报表4. 展示层，系统中展示的报表都由报表服务器生成.并将生产的报表嵌入到系统的展示页面中本系统的展示部分，均由HTMI.5技术实现，PC 和移动终端都可以正常访问系统功能可视化大数据管理系统功能包括三大方面：数据采集；数据管理；统计分析。

1. 数据采集可视化大数据管理系统涵盖各分校的各类教育基础数据其 从各分校相关教育业务系统中自动抽取数据，或者由各分校按约定的数据模板及时上传数据,在此基础上对数据进一步清洗、转化 应用层系统获取这些经过预处理的基础数据，基于可视化技术，实现教育指标的综合分析、评价和决策支持。

系统建设初期，主要采取人工上传方式采集各分校的教育基础数据，在后期推广应 用阶段，逐步实现自动方式（开放API.平台定时抽取）采集数据2. 数据管理（1 ）数据处理，可视化大数据管理系统作为底层服务平台， 严格遵守一数一源.按照预先定义好的数据模型，将数据加载到数据库中，实现整个智慧教育数据的规范化、系统化、一体化管理，提供数据导入导出、数据备份、元数据管理、数据交换等后 台功能，对教育基础数据进行计算、处理，为上层应用提供更加 便利的数据服务，包括ET1.（数据抽取、转换、装载与清洗）.MapReduce 以及计算等方式。

数据导入导出：把相关的教学数据采用合适的模式/标准对数据进行统一储存.方便利用智能算法进行分析和操作，将经过系统分析处理后的数据导出.方便浏览查询或者打印数据备份：只要产生了数据传输、数据存储以及数据交换，就有产生数据故障的可能性。

本系统采取定时进行数据备份、提供数据恢复等手段，防止数据的丢失，避免造成损失.元数据管理：包括各个业务表的发展，数据元素和实体的定 义，表格规则和算法以及数据的特征.最基础的管理是管理业务元数据的收集、组织和维持：对技术型元数据的应用以及主数据 管理和数据治理项目的成功至关重要|5'o数据清洗：数据来源各不相同.数据形式多元化.使得数据 质量存在较大的差异.不正确或者不一致的数据可能会严重影响数据的分析效果。

本系统使用如统计分析、预定义规则等相关技 术将“脏数据”转换为满足数据质量要求的数据。

数据集成：整合來自多个数据存储的数据，为数据分析、处理、挖掘提供完整的数据源。

数据交换:将数据变换或统一成适合于数据分析挖掘的形式数据校验：在数据交互中.由于各种硬件、软件、网络等问题可能会导致数据的丢失、异常等不一样的情况，为了解决这种情况，系统内建立相关校验机制和处理功能，以便对异常情况做art显示字股* »51»*发黑€文1»*SCI一离人才二矣人才2018 » 大*• HrKtW •HI 帥»91»* 外STVHWCD•人才am ▼ • ttW • 如 ISCIM1WR>______________-----------------------MB | ttl«|««£文■SCI El一寅人才HA 才«11* 专仲图3按需查询与数据导出图2统计分析2019,2-3 申国*[St 网第67应用系统I ——善后处理（2 ）提供统一的数据访问接口 通过规范API 标准帮助应用开发者能够更好地使用智慧教育平台的各类资源，支持各系统之间的数据共享，保证数据的实时性、整齐性和一致性.3.统计分析（I ）支持基本的数据统计分析和M 视化展现（图2 ）：全院教育基础数据统计采用横向（从学生、教师、课程、学科角度对比单位情况）与纵向（从单位深人查看学生、教师、课程、学科情况）相结介的方式 院校领导、院校机关（主管业务部门）可以了解各图4向社会公众发布统计数据踊共:!历年师统计--二―=5-r r 殛“产/鸟T*7-1693lc 1495059201600000000002581099316o3149旳59新増教师数k O » »图5关注教师数量变化•位■mi 何n *ott0f» MW 汾.图6分析各硏究所博导硕导的数量和性别比«<r-45*s»86WMH?铁 1分校的学生、师资、课程、学科的总体情况及各校对比情况 也可衣看每个培养单位（院系/研究所）的学生、师资.课程、学科数据分校领导、研究所领导可以查看本校（含对口培养单位）或本单位 总体情况以及面向全院校公开的各校对比情况（2）支持按需查询与数据导出（图3） …院校领导、院校 机关（主管业务部门）可以以白定义的方式查询感兴趣的数据， 并可导出相应的基础数据（3 ）支持向社会公众发布统计数据（图4）.院校机关（主管业务部门）有权限将统计数据（图表）对外发布，可设置院校内发布和向公众发布设置为院校内发布，则可跨校、跨单位査看相应的统计信息；公众可通过院校机关发布的面向公众的统计 数据了解本院教育基本情况系统应用场景关注教师数量变化，提升学校在岗教师数量和质量通过查看各级单位历年新增教师数量，可以及时发现教师数虽变化的异常，再通过数据钻取，查看各研究所教师数量，查看各年龄段教师数量等.可以发现异常的根源比如：某所教师数ht 逐年下降是因为退休教师数验增加、导致在岗教师数量下降，就可以及时补充新教师，在未来三五年内，重点引进年轻教师，从而避免教师资源短缺（图5 ）分析各研究所博导硕导的数量和性别比用户需要分析所有单位的博导硕导数量性别差异：通过分析菜单内选择教师分析.选取导师类型和性别等字段.从而完成整个统计过程，得到数据结果（图6 ）制定未来财务支出计划，有效配置教育资源用户通过查看教育经费概况.教育经费收支情况，可以观察历年各项收入支出变化，计算收支增长百分比，合理预测下一年的收支情况，制定财务计划教育信息化是社会信息化的一个重要组成部分，合理利用大数据的统筹与应用可以推进教育决策科学化：可视化大数据管理系统将进一步为教育决策大数据系统的架构设计、系统研发和多面应用提供基础和方法 題（责编：付涵）（作者单位为中国科学院大学网络信息中心）参考文献[11摘fl:新华社.国务院：数据已成为国家曲IW •:战略资源[EB/OI.].|2015-（）9-06|. hllp://nevvs.xinhiiunrl.（'（mi/infe/2（）15-09/（）6/r_134593461 .hhn|2] [3]摘门:钱冬明,罗安妮.顾云峰.大数据背景下省级教育科学决策服务支持系统设计研究[J].教育发展研究.2018.38（05）:68-74[4] Knapp. Michael S.ISwinnerton, Juli A.IO>plan （l. Michael A.I Mon p as-Hu h er. Jack.Data-in f onnrc I leadership in Edurali,n.|J].（：rnh'r for tin- Study of Traching&Policy.2（X ）6:56[5] 摘自:邹丹•铁路大数据治理体系研究[A]•中国智能交通协会•第十二届中国智能交通年会大会论文集[C].中国智能交通协会:.2017:5.68中国教育网络2019,2-3。