测验的信度
信度:同一被试,在不同时间,用同一个测验/另一套相等测验,进行重复测量,所得结果的一致性。
信度指标:
信度系数r :两次测量的相关程度。
测量标准误SE:两次测量的平均数的标准差。
SE越小,r 越大。
信度评估的方法1:
重测信度/稳定性系数——跨时间的一致性
同一测验,同一条件下,对同一被试前后拖测两次,求两次得分的相关系数。
优点:可以提供测验随时间变化的资料
缺点:易受练习,学习效应,自身发展,经验累积的影响,一般间隔2~4周为宜。
信度评估的方法2
复本信度/等值性系数——跨形式的一致性
用两个等值但题目不同的测验,来测量同一群体,求得两个得分的相关系数。
例如;期末考试的A、B卷
优点;避免学习效应
缺点:可以减少,但不能完全避免练习的影响,解题方法的相似性,也可能迁移。
信度评估的方法3:
内部一致性信度——题目内容的一致性
1、分半信度
2、同质性信度
信度评估的方法4
评分者信度——不同打分者的判断
如:投射测验
高考作文
影响信度的因素:
1、样本特征:样本范围跨度越大,信度越高
样本团体的异质性越大,信度越高,反之越低。
样本团体平均能力水平,影响题目的相对难度,继而影响信度。
2、测验长度
即题目数量。题目越多,一般来说,内容的代表性就越好,
被试的猜测因素影响越小,但测试过长也容易引起疲劳感。
3、测验难度;太难或者太容易,分数范围都会缩小,使信度降低,因此,针对不同能力水平,要选择不同难度的测验。
4、时间间隔:对于再测法,或者复本法,求信度时,测验时间越短,信度系数越大。
测验的效度
效度,即测验题目是否反映了你想测的内容。
相对性:相对于某个测试目标的效度
连续性:不是“有”/“无”,而是效度较高/较低,相关系数
评估效度的方法1
内容效度:测验题目所测量的行为,是否具有代表性。
评估效度的方法2
构想效度/结构效度
是否能证实相应的理论假设,术语,或构想,解释程度如何?
评估效度的方法3
效标效度:该测验对个体在某种情境中的表现的预测程度。
如对智力测验来说,平时的学习成绩就是效标。
对高考成绩来说,大学后的学习成绩是效标。
效度的功能:
预测误差:决定性系数=效度系数r²
如某测验的效度r=0.8,那么r²=0.64 有36%无法做出正确预测。
预测效率指数:可以预测使用测验,比我们盲目猜测能减少多少误差,也就是我们的效率指数如何。
预测效标分数:根据回归方程,已知测验分数,可得效标分数。
影响效度的因素1
测验本身:
测验材料必须具有代表性
侧题尽量避免引起误差或者歧义
测题难度适中,有较好的区分度
测题长度适当,保证一定的题量
侧题的排列,应先易后难
影响效度的因素2
施测过程中的干扰因素:
主侧者,使用测验的标准化
测验与效标之间的间隔时间不要太长
测验环境的可能干扰因素
受测者的个人心理状态,做题习惯等。
影响效度的因素3
样本团体的性质:
样本跨度范围越大,越有利于检验效度
如高考题目的效度,如果仅以大学后的成绩为效标,会得出比较低的预测效度。
影响效度的因素4
效标的性质:
如效标的信度如果不高,那么对测验分数的参考性就不高了。
项目分析
项目的难度:已通过率表示。
一般来说,P越靠近0或者1,越无法区分受测者的能力差异;越靠近0.5,区分度越高。
选拔性的测验,难度值越接近录取率,越好。
项目的过难、过易
项目的区分度
较高区分度的测验,应当能测出被试的高低水平。
测验编制的一般程序
第一步,测验的目标分析
1、测量对象:即要适用于那些团体,如人口学因素。
2、测验目标:打算测什么。
确定效标:对特定概念下定义,如人格。
确定测验的具体内容,如人格各部分具体包含哪些要素。
第二步,侧题编写
命题原则:文字简明扼要,意义准确,要有确切答案,敏感话题的处理,避免对答案的暗示,避免拗口、合理使用反向计分等。
第三步,测验的编排和组织。
合成测验:预测、项目分析;
修改题目,形成最终测验。
施测、信效度考察,常模制定。
编写指导手册,以备使用。
心理测验的使用
主侧者的资格
一定的知识结构、理解能力
心理测验的专业知识和操作训练;
职业道德
测验的选择:
要符合测量目的
测验要经过标准化
测验的本土化
主试与指导语:
不要带任何暗示,尽量中性
不讲太多无关的话
避免打扰被试
对特殊情况、突发事件要有准备。
测验环境:
光线、温度、噪音等
被试误差的常见原因
应试技巧与练习效应
动机与焦虑度
反应定势(求快、求精确、喜欢正面、喜欢负面、喜欢特殊位置的答案、喜欢较长选项等。
)
对测验分数的综合分析:
测验分数代表一个范围,而不是定值;
不要神化分数,而要试图解释分数背后的因素
来自不同测验的分数,不可以直接比较。
告知分数的注意事项:
应告知此分数的解释,而不仅仅是分数本身;
避免使用专业术语
保证当事人知道测量的目的
保证当事人知道和什么团体进行比较
使当事人知道如何使用和看待他的分数
考虑分数对当事人的影响
请当事人积极参与对分数的解释。