20
学习分析要素
数据模型
简化模型
关键技术
典型工具
大数据时代如何处理数据
数据量巨大
分布式文件系统 并行运算
Hadoop体系架构
MapReduce
一个例子
• 算数平均 • 加权算术平均
大数据时代如何处理数据
自然语言理解 结构化数据、半结构化
数据和非结构化数据 信息抽取 实现非结构化向结构化 的转换 异构向同构的转换
大数据时代如何处理数据
价值密度低
数据清洗
数据挖掘
大数据时代如何处理数据
实时产生信
自动获取
效率优先
息
数据挖掘实施流程
学习分析模式
学习分 析流程 利用 支撑
数据与 信息
产生
工具与 算法
学习分析模式
再次修改方案
学习分析 工作流
在线学习行为日 志数据和学生基 本信息数据收集
各观测点数据采集 与预处理
二、学习分析
大数据与学习分析
• 《2013NMC地平线报告（高教版）》 将“学习分析”选为六大新兴技术之 一，并指出学习分析与教育大数据紧 密相关，学习分析就是从教育大数据 中对学与教过程的模式和趋势进行解 释。
19
学习分析技术
• 在首届“学习分析和知识国际会议”上，与会者一 致认为：学习分析技术是测量、收集、分析和报告 有关学生及其学习环境的数据，用以理解和优化学 习及其产生的环境的技术。 • 《2012NMC地平线报告（高教版）》也给出了近似 的定义，即学习分析技术是对学生生成的海量数据 的解释和分析，以评估学生的学术进展，预测未来 的表现，并发现潜在的问题。 • 从这些定义可以看出，学习分析技术分析的对象是 学生及其学习环境，目的是评估学生、发现潜在问 题、理解和优化学习，基础是海量数据。
• 以周为单位统计师生活动频 次变化
案例2
• 学生在一周中的活动情况分 布
案例2
• 学生活动频次学习时段分布 情况
案例2
• 在线学习时间分配方式聚类 分析
Байду номын сангаас
案例3：社区教育在线学习分析
• 目标：社区居民在线学习现 状 • 数据：某市终身学习网一年 的学习日志，约100万条，涉 及1500人 • 方法：
·文献数据库 ·搜索引擎
产生
产生
产生
数据与 信息流
·在线学习行为日 志数据库 学生基本信息数据 库
·预处理后的行为日 志和基本信息数据库
·学习者构成和分布可视化图表 ·学习者规模发展趋势 ·群体在线学习行为特点和个体 在线学习行为特点可视化图表 ·在线学习投入影响因素关联规 则
·未来发展规划建议 ·招生工作建议 ·学生支持服务工作建 议
·学习者特征分析 ·在线学习行为特点分析 ·在线学习投入影响因素分析
发现相关规律 提出改进建议
工具与 算法流
·Excel ·各类数据库管理 系统
·MySql数据库 ·SQL SERVER数据 库 ·……
·数据库管理系统查询分析器 ·Excel图表绘制 ·SPSS：差异检验 ·SSAS：关联规则、决策树 ·eCharts：数字地图 产生
• 各月行为频次分布
案例1
• 一周中各天行为频次分布
案例1
• 一天中24小时行为频次占比 变化情况
案例2：高职教育在线学习分析
• 目标：高职学生在线学习现状 • 数据：某高职一学期学习平台 数据，超过200万条行为日志， 涉及5700名学生
• 方法：统计分析与可视化，顺 序分析与聚类分析
案例2
基于教育大数据的学习分析：方法与案例
魏顺平
国家开放大学信息化部（工程中心） 数字化学习技术集成与应用教育部工程研究中心 ta is like ……
• Everyone talks about it, nobody really know how to do it. • Everyone thinks everyone else is doing it, so everyone claims they are doing it.
社会 体育
大数据——决策方式的革命
USE WHAT YOU KNOW TO POWER WHAT YOU DO
• 视频: 美国大数据公司 BlueKai精彩宣传片 • /v_show/id _XNzQ4ODg5Nzg0.html?from =s1.8-1-1.2
管理者
简化模型
各类教育的在线学习 还是有共同特点的
案例1：成人高等教育在线学习分析
• 分析目标：成人学习者在线学 习现状 • 数据：通过学习平台采集了跨 度两年（2012年8月2日至2014 年8月20日）、超过1.2亿条日 志数据，涉及学生217万 • 算法与工具：统计分析与可视 化
案例1
教育数据
《教育数据挖掘：方法与应用》一书作者葛道凯 教授认为： •①恰当运用数据挖掘技术能够为优化教育规划和 管理、提高教育教学质量、改进教育软件设计与 开发提供有益帮助。 •②对于多数教育机构来说，在教育教学过程中适 时应用数据挖掘技术不仅是必要的，也是可能的。 •③注重教育教学过程、管理过程以及研究过程中 相关信息的采集和存储是一项有价值的活动。
教育大数据
•由 • 目标总体>>抽样总体>>样本 • 转变化为 • 目标总体≈抽样总体≈样本
教育大数据
• 例如：成人学习者在线学习行为特点
及其影响因素分析研究
• 目标总体：全国成人学习者（成人高 等教育本专科在校生653.12万人） • 抽样总体：国家开放大学开放教育本 专科学生（ 367.63万人） • 样本： 2010年春季学期江苏电大 9369名新生
大数据时代如何处理数据
• 维克托· 迈尔-舍恩伯 格和肯尼思· 库克耶 （2013）认为，在 大数据时代处理数 据理念上有三大转 变：
抽样全体 绝对精确注重效率 因果相关
教育大数据
• 教育大数据指的是与教育教学要素相 关的以及教育教学过程中产生的全量 超大规模、多源异构、实时变化的数 据。
大数据与在线教学评估
• 教学评估的基础是教学数据。 大数据的采集与分析有助于评 估的全面性、实时性、精准性、 自动化。 • 质量保证的关键之一是过程监 控。大数据的采集与分析将是 实现过程监控的重要手段。
提纲
一、教育大数据
二、学习分析
三、案例
一、教育大数据
大数据时代来临
大数据与生活
医疗
交通 商业 科研
THANKS~
三、案例
学习分析典型应用
典 型 应 用 利益相关者
现状描述
教学评价
未来预测
教学干预
学习行为分析 —— —— 监督和控制 增强自我反思和 优化反馈和 自我感知； 趋势分析和活动 评价服务； 教师 学习者特征分析； —— 干预； 学习结果分 学习网络分析； 监督和控制 析 学习内容分析 增强自我反思和 资源推荐； 学生 —— —— 自我感知 适应性和个性化 用户模型； 结构发现和关系 预测和评估； 挖掘； 学习绩效预 研究人员 学习者行为和情 —— 测； —— 感分析； 预测辍学和 学生行为建模； 学习保持
在线学习投入 的无尺度网络现象
• edx平台某MOOC在线学习
在线学习投入 的无尺度网络现象
• 高职教育在线学习
在线学习投入 的无尺度网络现象
• 社区教育在线学习
小而美
正态分布
• 某小班教学的在线培训课程
正态分布
• 某小班教学的在线学历教育课程
魏顺平 wsp@
国家开放大学 数字化学习技术集成与应用 教育部工程研究中心
教育大数据
• 例如：成人学习者在线学习行为特点
及其影响因素分析研究
• 目标总体：全国成人学习者（成人高 等教育本专科在校生653万人） • 抽样总体：国家开放大学开放教育本 专科学生（ 368万人） • 样本： 2012年至2014年在国家开放 大学open学习平台学习的本专科学生 （217万人）
案例3
• 各月行为频次分布
案例3
• 各时段行为频次
案例3
• 各月行为频次分布
案例3
• 一周中各天行为频次分布
案例3
• 不同时段浏览频次分布
各类教育的在线学习 还是有共同特点的
各类教育的在线学习质量 还有待提高
正态分布与无尺度网络
在线学习投入 的无尺度网络现象
• 成人高等教育在线学习