3.1.8整体分析
• 为了检验某一测验是不是良好的测量工具， 应当对测验的质量进行分析评估。一个高 质量的测验的测验，它的结果应当是可靠 而且有效的。所谓可靠是指多次测验的结 果一致；所谓有效是指该测验准确地测量 了它所要测的内容。用来估计测量一致性 程度的指标称为“信度”；而用来估计测 量准确性程度的指标则称为“效度”。显 然，信度和效度是评价测量质量的两个最 主要的指标。
• 按测验的目标分类： 学业成就测验 智力测验 能力倾向测验 • 测验结果的评价标准分类： 常模参照测验 目标参照测验
经典测量理论 （ Classicalห้องสมุดไป่ตู้Test Theory ）
3.1.1概念描述
• 在实际测验中所得到的分数称作实测分数 • 实测分数的组成：有效分数＋测量误差，测量误差 ＝随机误差＋系统误差 –故实测分数＝有效分数（V）＋随机误差（E） ＋系统误差（I） –即：X＝V＋I＋E • 真分数：通常把上式中稳定出现的V、I之和称作真 分数，用T表示 –T＝V＋I • 实测分数X＝T＋E，移项得：E＝X－T • E是由偶然因素造成的，结果可正可负
教育测量
1. 教育测量基本概念回顾 2. 教育测量的分类 3. 教育测量理论 3.1经典测量理论（CTT） 3.2项目反映应论（IRT） 4. 教育测验的编制 4.1编制步骤 4.2编制细则
1. 教育测量基本概念回顾
• • • • • • 测量的定义 量表 信度 效度 难度 区分度
2. 教育测量的种类
3.1.2 CTT的基本假设
• 对某个学生进行测验所得分数X可看作是代表该生实际 知识水平的真实分数和测验误差分数的线性组合，真实 分数是指在测验完全没有误差时所得到的理想值；是由 随机误差引起（并未包括系统误差）。所谓随机误差是 指，由与测量目的无关的偶然因素所引起的无规律的误 差；系统误差则是指，由与测量目的无关的固定因素所 引起的有规律的误差。可正、可负，因而测得的分数X 可能大于真实分数，也可能小于。 • 误差分数的数学期望（统计平均值）为零，因此真实分 数也可以用一个被试在大量测验中所得分数的统计平均 值来表示。 • 任意两次测验所产生的误差相互独立。
3.1.3假设的公式推演
X= X T + X E
2 2 2 SX = ST + S E
2 2 2 2 SX = SV + S L + S E
3.1.4 项目分析
• 项目分析是对测验中的每一道题目进行分 析，所以也称“题目分析”。对测验题目 的分析一般包括难度分析、区分度分析和 迷惑效力分析等三个方面。
3.1.9信度的估计
• 信度是测量的可靠性度量，而在测验所得 的分数中，随机误差所占比重的大小直接 反映了测验的可靠性。因此我们可以将真 实分数的方差（真实分数的变异数）与测 验所得分数的方差（总变异数）之比用来 表示信度的大小，并称之为信度系数，用 表示，即：
2 2 XX = ST / SX
3.1.11效度类型
• 准则关联效度 ：准则关联效度是根据测验所作的 预测是否能被证实来衡量测验的有效性。如果测 验所作的预测与未来实际发生的事情很接近，这 个测验就是一个有效的好测验。在这种场合，被 预测行为是用来衡量测验是否有效的标准，因此 被称之为“准则”。准则关联效度就是要考察测 验得分与准则之间有什麽样的关系。例如用“模 拟考试”来预测高考的成绩，模拟考试在这里就 是一个准则。如果预测的准确性高，该模拟考试 就是一个有效的好测验。
3.1.10效度的估计
S =S +S + S
2 X
2 V
2 L
2 E
效度是测量的有效性度量。在一个测验所得分数中，与 测量目的无关的因素影响越小（或者说与测量目的有关 的因素影响越大），测验的有效性就越高，由上式可见 这就相当于要求增大 的比重。因此我们就可以将真实分 数的方差中与测量目的有关的部分即 （称为“有效变异 数”）与测验所得分数的方差 （总变异数）之比，用来 表示效度的大小，并称之为“效度系数”，用 表示，即：
D j PjH PjL
3.1.7迷惑效力分析
• 迷惑性答案的效力，是指多项选择题中用的非 正确答案被考生选中的可能性，所以这项指标 只对多项选择题有意义。对这项指标的计算比 较困难，通常是用一次测验中选中某答案的次 数来估计该答案的迷惑效力。如果在考试中某 一选项无一人挑选，则说明改选项没有迷惑力； 如果选用的人数多且低分组的选用多于高分组， 则说明改选项的迷惑力强；如果高、低分组选 择某选项的人数都较少且人数接近，则说明该 选项的迷惑力较弱。显然，在测验组卷时应尽 量少用或不用迷惑力弱的试题，以免影响测验 效果。
3.1.5难度分析
• 非客观性试题（填空题，证明题，问答题， 计算题，改错题等）的难度为：
Pj 1
X
i 1
n
ji
nWj
• 客观性试题（选择题）的难度为：
Pj 1 nj n
3.1.6 区分度分析
• 好的试题应能对不同知识水平和能力水平的被 试加以区分，所谓区分度就是用来表示这种区 分能力大小的质量指标。一道试题的区分度高 是指，该题被能力强者答对的可能性大，被能 力弱者答对的可能性小；区分度低的试题则不 能反映出这种差别。计算区分度的方法有多种， 较简单而有效的一种是“两极分组法”。这种 方法的基本思想是，比较测验总分最高和最低 的两组被试在答对率上的差别。其计算公式如 下：
XX
S S
2 V 2 X
3.1.11效度类型
• 内容效度：指试题对欲测内容的符合程度，即该测验所采 用的试题是否能充分反映欲测范围内的教学内容与教学目 标。当以考试结果作为了解学生在某一学科的整体表现时， 应采用内容效度来评价考试的有效性。对内容效度的估计 至今没有定量的计算方法，目前主要采用的是专家判断法 和再测法。 • 构想效度：构想效度是指测验对某种理论上的构想或假设 的符合程度，因此构想效度主要用于理论研究。估计构想 效度的基本步骤是：先从某一理论出发，提出关于某种心 理特质或认知能力的假设；然后设计和编制响应的测验对 被试施测；最后对测验结果用相关分析法进行分析以验证 与理论构想（假设）的符合程度。