当前位置:文档之家› 第2讲 信度与效度分析

第2讲 信度与效度分析


第一节 信度分析方法
一、信度的概念
信度(Reliability)即可靠性,是指根据测量工 具所得到的测量结果的一致性或稳定性,反映客观 事物被测特征真实程度的度量指标。一般而言,两 次或两个测量的结果愈是一致,则误差愈小,所得 的信度愈高。
信度(reliability)又称稳定性或精确度。用 以反映在相同条件下,对同一客观事物测量若 干次,测量结果的相互符合程度或一致程度, 说明数据的可靠性。当使用同一测量工具重复 测量某一客观事物时所得结果的一致程度越高, 则该测量工具的信度就越高。
问卷题目要统一,指导语、回答问 题的方式、分收试卷的方法和问卷测验 的时间等都要统一,这些是问卷有较高 信度的基本保证。
例1 世界卫生组织生存质量测定量表简表 (WHOQOL-BREF)包含24个问题条目,从生 理、心理、社会关系和环境领域考察个人 的生存质量。量表的结构见表1。使用量表 对47名患者进行调查,试对环境领域进行 信度分析。环境领域包含8个条目,各个条 目的内容,平均得分和方差等列于表2.
重测信度是指用同样的测量工具,对同一组被 调查者间隔一定时间重复测试,两次测试结果的相 关程度。重测信度可以通过两种途径进行考察: (1)计算两次测试结果的相关系数,如果经过 统计检验,相关关系有统计学意义,则认为测量 工具的信度高,否则信度低。也有人提出,测量 工具的重测信度可以接受的标准是两次测试的相 关系数在0.7以上。

误差的分类
误差( error)是指对事物某一特征的度量值偏
离真实值的部分,即测定值与真实值之差,样
本统计量与总体参数之差。
X T B E
实测值 真实值 系统误差 测量误差

误差的分类
1. 抽样误差 抽样误差(sample error) :由于抽样 造成的样本指标与总体指标之间及各样本 指标之间的差异。与测量的优劣没有必然 的联系,进行信度和效度分析时,可以忽 略抽样误差。
2. 复本信度
复本信度法是让同一组被调查者一次填答 两份问卷复本,计算两个复本的相关系数。复 本信度法要求两个复本除表述方式不同外,在 内容、格式、难度和对应题项的提问方向等方 面要完全一致,而在实际调查中,很难使调查 问卷达到这种要求,因此采用这种方法者较少。
2. 复本信度(alternate form reliability)
低信度:α <0.35, 中信度:0.35<α <0.70, 高信度: 0.70<α 一般地,问卷的α 系数在0.8以上该问卷 才具有使用价值。 Cronbach‘s α 值皆达0.85以上,表明 问卷信度良好。
6.评分者信度(inter-scorer reliability)
考察评分者信度的方法为,随机抽取相当 份数的问卷,由两位评分者按记分规则分别给分; 然后根据每份问卷的分数计算相关系数, 就得到评分者信度。评分者信度也可以是一位评 分者两次评分的相关系数。如果是多个评分者或 一位评分者两次以上的评分,可采用肯德尔和谐 系数和Kappa系数。肯德尔和谐系数用于等级资 料,Kappa系数用于定性资料。
问卷题目较多,其在一定程度上排除了偶 然因素的影响,从而提高了问卷的信度。 但是问卷长度的增加与问卷的信度的增加 并不总是成正比的,当信度系数较小时,延长 问卷长度,问卷的信度系数增加较大;而当信 度系数较大时,延长问卷长度对信度系数的影 响就较小。
(2)问卷的难度适中
当问卷题目难度太大时,问卷得分普遍过 低;当问卷题目难度太小时,问卷得分普遍较 高。问卷题目太难或太易都会使问卷得分差异 减小,使实得分数方差减小,从而降低了问卷 的信度。
(3)问卷的内容尽量同质
内容同质的问卷,要求答卷者具有 相同的能力、知识和技能。因而为了提 高问卷的信度,问卷的内容应尽量保持 同质。
(4)测验的时间要充分 一份问卷应保证绝大多数答卷者在 规定的时间内能完成测验。当答卷者不 能从容地回答所有题目时,问卷的得分 就不能反映答卷者的真实情况。
(5)测验的程序要统一
三、信度的种类及计算
信度主要分为四大类:
重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability)
内部一致性信度(Internal Consistency Reliability)
评分者信度(Scorer Reliability)
1. 重测信度
3. 分半信度
使用分半信度评价信度时,应注意:一是问卷 题项所测的应是同一种特质;二是如果量表中 含有反意题项,应先将反意题项的得分作逆向 处理,以保证各题项得分方向的一致性。三是 然后将全部题项按奇偶或前后分为尽可能相等 的两半,计算二者的相关系数(rhh,即半个量 表的信度系数),最后用斯皮尔曼-布朗 (Spearman-Brown)公式:
三、 信度的种类及计算方法与评价
信度主要是指测量工具是否精准(precision)。 信度分析涉及了问卷测量结果的一致性和稳定 性,其目的是如何控制和减少随机误差。 信度指标多以相关系数表示,大致可分为三类: 稳定系数(跨时间的一致性),等值系数(跨形式 的一致性)和内在一致性系数(跨项目的一性)。

piqi SX
2
(1
i 1
)
的人数占总答卷人数的比例,pi可视为该题的难 度,qi=1-pi 。式中n为问卷包含的题项总数.
S X 为问卷测验总得分的方差,pi表示答对该题
`
5. Cronbach’s α 信度系数
Cronbach’s α 系数是Cronbach于 1951年创立的,用于评价问卷的内部一 致性。α 系数取值在0到1之间,α 系数 越高,信度越高,问卷的内部一致性越好。 Cronbach’s α 系数不仅适用于两级记分 的问卷,还适用于多级计分的问卷。
若用变异表示测量结果的信度,理论上应有
r XX
T
2
2 X

T
2
r XX 1
Hale Waihona Puke E 2 X2
式中 表示真实分数的方差; 表示实得分数的方差; 表示误差的方差。
2 X
2
E
信度包含两层含义: 一是相同的个体在不同时间,以相同的测 量工具测量,或以复本测量,或在不同的情景 下测量,是否能得到相同的结果,即测量结果 是否随时间和地点等因素而变化; 二是能否减少随机误差对测验结果的影响, 从而能够反映测量工具所要测量的真实情况, 即测量结果是否具有稳定性、可靠性和可预测 性。一个好的测量工具必须是稳定可靠的,且 多次测量结果应前后一致。
ru 2 rhh 1 rhh
求出整个量表的信度系数(ru)。
4.库得─理查森信度 (Kuder─Richardson)
库德-理查森信度适用于计算“对或错”的是非 题的同质性信度,其是计算所有可能的分半信度 的平均数。最有代表性的计算公式是库德-理查 n 森公式:
r KR
2

20
n n 1
5. Cronbach’s α 信度系数
Cronbach α信度系数是目前最常用的信 度系数,其计算公式为:
K 1 K 1

i 1
k
2 i
T
2

2
其中,K为量表中题项的总数,i
2 T
为第i题得分 的题内方差, 为全部题项总得分的方差。
问卷(量表)测量中的测量误差通常来源于 两个方面: 一是产生于问卷(量表)测量过程中的误差, 称为测量误差(measurement Error),也称为随 机误差(random error); 二是由问卷(量表)的结构质量造成的误差, 称为系统误差(system Error)。
measurement Error reliability system Error validity
5. Cronbach’s α 信度系数
从公式中可以看出,α系数评价的是量 表中各题项得分间的一致性,属于内在一致 性x信度系数。这种方法适用于态度、意见 式问卷(量表)的信度分析。
α 系数有以下性质: (1)α 系数是所有可能的分半信度的平均值; (2)α 系数是估计信度的最低限度; (3)当问卷计分为二分名义变量时,即答案 为0或1,α 系数与KR20值相同,即库德-理 查森信度公式是克隆巴赫的α 系数的一个特 例。
第2讲
信度与效度分析方法
根据调查目的设计的调查问卷是一种测量工具 。其质量高低对调查结果的真实性、适用性等具有 决定性的作用。为了保证问卷具有较高的可靠性和 有效性。在形成正式问卷之前,应当对问卷进行试 测,并对试测结果进行信度和效度分析,根据分析 结果筛选问卷题项,调整问卷结构,从而提高问卷 的信度和效度。 调查问卷的信度和效度分析绝非赘疣蛇足,而 是研究过程中必不可少的重要环节。信度和效度分 析的方法包括逻辑分析和统计分析。
四、 影响信度的因素
被试方面 主试方面 施测情景方面 测量工具方面 两次施测的时间间隔
提高信度的方法
问卷的信度越高,受到人、时、地、 物的干扰就越低,其所能反应事实或让 人相信的程度越高,因此在问卷实施前 如何有效提高信度是问卷测验成败的关 键。通常提高问卷信度的方法为:
(1)适当延长问卷的长度
X T B E
实测值 真实值 系统误差 测量误差
信度是用估计测量误差大小的尺度,来说明 测量结果中测量误差所占的比例。 信度可定义为真实分数(true score)的方差 与测量实得分数(observed score) 的方差之比 ,当实得分数变异可以全部由真实分数的变异解 释时,测量误差就是0,这时测量结果的信度为 1。
2. 系统误差(systematic error)
系统误差是指由于偏倚(使测量结果系统 地偏离真值, bias)产生的错误结果,与 随机误差不同,可校正和消除。
相关主题