问卷的信效度检验6.9
效度的分类
内容效度
效标关联效度
结构效度
效度的分类
内容效度
1. 定义:指测验或量表内容或题目的适切性与代表性,即测验内容
能否反应所要测量的心理特质,能否达到测量的目的或行为构念。
效度的分类
内容效度
2.计算方法:内容效度是一个主观指标, 一般通过专家评议打分 进行,应用最广泛的指标是内容效度指数。
(2)对于高考来说,大学关心的是预测效度;而心理学家关心的是
结构效度(测量了哪些能力与技能)。
谢谢
3.计算:
分半信度先要确定分半方法
最常用的为奇偶分半法: (1)可将项目按由易到难的顺序排列编号 (2)按奇数和偶数序号将项目分半
计算两半的相关系数
利用公式校正(若分为不相等的两部分)
信度的分类
内部一致性信度
(二)库李信度
1. 定义:简称K-R信度系数。
2.适用范围:适用于是非题,亦即二元化计分(0、1计分)的测验
3.因子分析步骤: (1)采用KMO检验进行适切性评估:
(2)采取极大似然法、主成份分析、主轴法等抽取因素。
效度的分类
结构效度
4.判定标准:
1 2 3
公因子方差均应大 于0.4,该指标表示 每个条目的40%以上 的方差都可以用公 因子解释
公共因子应与问卷设
每个条目都应在其
计时的结构假设的组
成领域相符,且公共 因子的累积方差贡献 率至少40%以上
中一个公因子上有
较高负荷值(大于 0.4),而对其他 公共因子的负荷值 则较低
理论正确 排除干扰 操作规范
提高效度
增加长度
样本适宜
控制误差
效度的小结
根据不同的需要,一个测验可以采用不同的效度
例如: (1)对于智力测验来说,既可以有实证效度(预测将来的行为)和 结构效度(对组成智力的各个因素测的如何),也可以有内容效 度(对于智力的各个方面的取样是否适当)。
调查兴趣、 爱好、习惯
信度的分类
复本信度
1. 定义:用两个平行测验(同一测验的两个复本)在相距最短时间
内测量同一组被试所得结果的一致性程度,其大小等于同一组被试
在两个复本测验上所得分数的皮尔逊积差相关系数。
局限性
•复本测试只能减少 而不能排除练习和 记忆效应
使用条件
•内容、形式 •数量、难易 •时限、指导语 等方面相同或相似
使用条件
复本信度
•建立复本相当困难
•两次测试的时间 间隔要适当
局限性
因此,采用此方法者较少
信度的分类
评分者信度
1. 定义:指多个评分者给一组测验结果评分,所得分数之间的一致
性程度。Βιβλιοθήκη 2.计算方法:积差相关系数
肯德尔和谐系数
两个评分者
3人以上且采 用等级评分
信度的分类
评分者信度
变量类型 极好 较好 较差
内部一致性信度
(一)分半信度
1. 定义:在测验没有复本且只能实施一次的情况下,可将测验项
目分成对等的两半,根据被试在这两半测验中所得的分数计算相
关系数,即得分半信度。
2.适用范围:一般不适用于事实式问卷(如年龄与性别无法相比), 常用于态度、意见式问卷的信度分析。
信度的分类
内部一致性信度
(一)分半信度
数据方面。
信度的分类
内部一致性信度
(三)α 系数或克伦巴赫(Cronbach)公式
1. 适用于一切非0、1记分和连续记分(即多重记分)的情况,适用
于态度、意见式问卷(量表)的信度分析
2.α 系数具有以下性质:
(1)α 系数是所有可能的分半信度的平均值
(2)系数是估计信度的最低限度
信度的分类
内部一致性信度
(三)α 系数或克伦巴赫(Cronbach)公式
内部一致性系数指标判定原则
信度的分类
重测信度
1. 定义:指用同一量表对同一组被试测试两次所得结果的一致程度
,其大小等于同一组被试在两次测验上所得分数的积差相关系数。 2.形式:
施测
时间间隔 再测
相关系数
3.判定标准:重测信度系数能达到0.70以上即可。
计算S-CVI/UA
计算I-CVI 专家评议
效度的分类
内容效度
4.判定标准:
I-CVI: A.专家 ≤5 人时,I-CVI=1.00 B.专家≥6 人时,I-CVI≥0.78
S-CVI/UA : ≥ 0.8 提示量表内容效度较好 S-CVI/Ave: ≥0.90
具有较好的内容效度
效度的分类
内容效度与表面效度的区别
文本
文本
表面效度是由外行对测 验做表面上的检查确定 的 内容效度是由够资格的 判断者(专家)详尽地 表面效度不能算是一种 效度,它不反映测验实 际测量的内容,但能取 得受试者的合作
文本
、系统地对测验评价而
建立的
效度的分类
效标关联效度
1. 定义:指测验与外在效标间关系的程度,如果测验与外在效标间 的相关愈高,表示此测验的效标关联效度愈高。
信度低效度一 定低,但信度 高未必表示效 度也高
信度的分类
重测信度 内部一致性 信度 评分者信度
复本信度
信度的分类
内部一致性信度
性)程度。
1. 定义:指的是测验内容或测验内部所有题目的一致性(项目同质
2. 计算方法:
(1)分半法 (2)K-R信度系数 (3)系数或克伦巴赫公式法
信度的分类
效度的分类
结构效度
分数能够解释多少某一心理特质。
1. 定义:指能够测量出理论的特质或概念的程度,亦即实际的测验
2. 计算方法:因素分析。使用者如果以因素分析去检验测验工具的 效度,并有效的抽取共同因素,此共同因素与理论架构的心理特
质甚为接近,则可说此测验工具或量表具有建构效度。
效度的分类
结构效度
分类变量
>0.75
0.4-0.75
<0.4
等级或连续变量
>0.75
0.6-0.75
<0.6
延长测验长度
评分需要客观
测验难度适中
Enterprise Solution
测验程序统一
提高信度
测验内容同质
Web Service
测验时间充分
信度小结
估计测验中跨项目或两 个分半测验的一致性
内部一致性信度
估计测验中跨时间的一致性 估计测验中跨形式的一致性
问卷的信效度检验
目录
信度的概念 信度的特征 信度的分类 信度的小结
效度的概念 效度的特征 效度的分类 效度的小结
信度的概念
信度
即测量的可靠性,用以反应在相同条件下,对同一客观事物测
量若干次,测量结果的相互符合程度或一致程度。
信度的特征
1 2 3
信度指的是评 量工具获取的 结果而非工具 本身
信度系数可能 因不同时间、 不同受试者或 不同评分者而 出现不同的结 果
预测效度
指测验分数与将来的效标之间关系的程度
同时效度
指测验分数与目前效标数据之间关系的程度
效度的分类
效标关联效度
2.计算方法: (1)相关法:当预测分和效标分都是连续变量时,可采用积差相
关系数的计算方法来求得测验的效度系数。
(2)区分法 (3)命中率 (4)功利率
效度的分类
效标关联效度
3.判定标准: (1)预测效度:效度系数通常较低,多在0.20-0.60之间,很少超过0. 70,一般以0.4-0.8之间比较理想。 (2)同时效度:一般认为相关系数在0.4-0.8比较理想。
条目I-CVI
量表-SCVI
全体一致S-CVI(S-CVI/UA)
平均S-CVI(S-CVI/Ave)
效度的分类
内容效度
3.计算步骤:
量表所有条目 I-CVI 的均数
计算S-CVI/Ave
被所有专家均评为 3 或 4 分的条目数占全部条 目的百分比 每一条目给出评分为 3 或 4 的专家人数除以 参评的专家总数 1= 不相关 2= 弱相关 3= 较强相关 4= 非常相关
重测信度 复本信度
估计测验中跨评分者的一致性
效度的概念
效度
指测量的有效程度或测量的正确性 , 即一个测验能够
测量出所要测量特性的程度。
效度的特征
效度的特征
1
2
3
指测验结
高效度测
效度只能
果的正确性或 可靠性,而非 指测验工具本 身
验工具施测于 不同的受试者 ,可能会导致 结果的不正确
从现有信息作 逻辑推论或从 实证资料作统 计检验分析
信度的分类
重测信度的使用条件
被测的特征和属 性在两次测验之 间没有发生变化
以2-4周较为合
适,样本量通常 为20-30人
两次施测期间被
试的学习效果没 有差别
重测信度的使用条件
信度的分类
特别适用于事实式问卷
个人一般信息即性别、出生年月等
适用 范围
态度、意见式问卷
如果没有突发事件导致被 调查者的态度、意见突变