信度主要分为四大类： 重测信度(Test-retest Reliability) 复本信度(Alternate-form Reliability) 内部一致性系数(Internal Consistency Reliability) 评分者信度(Scorer Reliability)
HRM量化技术研究
授课教师：谭远发 授课进度：信度与效度测量 2011-9-19
主要内容
测量理论 信度 效度 信度与效度的关系 信度与效度的分类及Stata计算 信度与效度的影响因素 提高信度与效度的途径
测量理论
信度(Reliability)
正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映 测试结果的一致性和稳定性(consistency, and stability)。
Kappa 系数大于0. 75 表示重测信度很好, 在0. 4 ～ 0. 75 表示较好,而低 于0. 4 表示较差。如果结果显示某个问卷(量表)项目的Kappa 系数低于0. 4 , 则要考虑修改或删除该项目。
重测信度——ICC系数
对于连续变量，可采用Ronald Fisher(1954)提出的ICC (Intraclass Correlation Coefficient )系数来测量：
则用Cronbach的系数，它表示问卷(量表)测量结果总变异中由不同被试
者导致的比例占多少,即 :

k

m
s2 Xj

1 j1
k 1
s
2 X





其中，s
2 X
j
为所有受访者第j问项答案的方差;
s
2 X
为所有受访者、所有问项
答案的方差; k为问项题目总数。
Cronbach’s α系数越大表示问卷项目间相关性越好, 内部一致性信度越高。 一般而言,α大于0. 8 表示内部一致性极好,α在0. 6 ～ 0. 8 表示较好,而低于 0. 6 表示内部一致性较差。在实际应用上,Cronbach’s α值至少要大于0. 5 , 最好能大于0. 7 (Nunnally ,1978) 。
算连续变量的重测信度时，应采用rFisher系数更准确。
一般来说, ICC 大于0. 75 表示极好, ICC 在0. 6 ～0. 75 表示较好。
Stata命令： For rpearson corr var1 var2
For rFisher loneway var1 var2
复本信度
复本信度是指用母本和复本两次等值测评结果的一致性程 度。它的计算与重测信度相似，即计算母本和复本测评数 据的相关性。当测评结果为分数或数值时，用rPearson法或 rFisher计算；当测评结果为等级或名次时，用斯皮尔曼等级 相关系数 (Spearman Rank Correlation)。这些方法的适用性 和差异见下表：
原有的相关系数公式计算，也可以先算出每一对样本的等
级之差di，结合样本量n；再用下列公式计算：
n
6 di2
rSpearman Rank
1
i 1
n(n2
1)
上例中由于等级完全一致，所有di = 0，所以r-spearman rank =1 。
Stata命令：
For r-spearman rank spearman var1 var2
通
常 的
rPearson

1 n 1
n i 1

xi sx
x



yi sy
y

相
关
x

1 n
n i 1
xi , sx2

1 n
n i 1
( xi
x )2
系 y
数：

1 n
n i 1
yi
,
s
2 y

1 n
n i 1
( yi
y)2
rFisher
从表中数字可以看出，工人的考试成绩愈高其产量也愈高 ，二者之间的联系程度较一致，rPearson=0.691；并不算太高 ，这可能由于它们之间的关系并不是线性的。
如果分别按考试成绩和产量高低变换成等级(见上表第3、4
列)，则可以计算它们之间的斯皮尔曼等级相关系数为1。
计算斯皮尔曼等级相关系数可以将数据变换成等级以后用

1 n 1
n i 1

xi1 xp sp

xi2 sp
xp

xp

1 2n
n i 1
(xi1 xi2 )
s
2 p

1 2n 1
n i 1
( xi1
xp )2

n i 1
( xi 2
x
p
)2

两种相关系数的本质区别在于均值和方差计算不同。在计
效度(Validity)
T
它反映测试的准确性(accuracy)，即在多大程度上 测量了想要测的内容。
信度和效度的关系
可以证明：
举例来说
总而言之，信度和效度相互排斥又相互依存；没有信度就 不可能有效度；没有效度，信度就毫无意义；高信度可能 带来低效度；高效度也可能带来低信度。
信度分类及计算
内部一致性系数——折半信度
内部一致性系数反映调查问卷(量表)各个问项(项目)间相关的程度, 这些问项
应该反映同一独立概念的不同侧面。它通常采用折半信度测量。具体办法是：
将问卷（量表）中所有项目分为对等的两部分，然后计算两部分的相关系数,
即折半信度rh。然后，据此推算整个问

2rh rh 1
通常地，前半部分问卷和后半部分问卷的方差不相等，Flanagan将其拓展为：
rFlanagan

2 [1
sa2 sb2 s2
ab
]
其中sa2，sb2，sa2b分别为前半部分、后半部分和整个问卷(量表)的方差。
内部一致性系数——Cronbach系数
当问卷(量表)的问项(项目)总数为奇数，无法分成为对等的两部分时,
重测信度——kappa系数
重测信度反映两次测量结果的相关程度。对于分类变量，可 采用Cohen's kappa系数来测量：
Kappa系数：k pa pe 1 pe
其中pa是两次观测的实际一致率，pe是两次观测的期望一致率。
以右表为例：
pa 20 15 / 50 0.7
pe

25 50
30 50

25 50
20 50
0.3 0.2 0.5
A
B 好 坏 合计 好 20 5 25
k pa pe 0.7 0.5 0.4
1 pe
1 0.5
坏 10 15 25 合计 30 20 50
将上表恢复为原始数据集后，采用Stata的kappa命令可得如下结果：