效度评估的方法
发布时间:2008年9月4日 17时06分
美国心理学会在1974年所发行的《教育与心理测量之标准》一书中将效度分三大类:内容效度、构想效度、效标效度。 一、内容效度(content-related validity)
㈠什么是内容效度:
内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所欲测量的行为领域的代表性取样。
㈡内容效度的评估方法:
1.专家判断法
这了确定一个测验是否有内容效度,最常用的方法是请有关专家对测验题目与原定内容的符合性做出判断,看测验的题目是否代表规定的内容。如果专家认为测验题目恰当地代表了所测的内容,则测验具有内容效度。由于这种估计效度的方法,是一个逻辑分析的过程,所以内容效度有时又称“逻辑效度”。
为了使内容效度的确定过程更为客观,弥补不同专家对同一测验的判断可能不一致,可采用如下几个步骤:
⑴定义好测验内空的总体范围,描述有关的知识与技能及所用的材料的来源
⑵编制双向细目表,确定内容和技能各自所占的比例,并由测验编制者确定各题所测的是何种内容与技能
⑶制定评定量表来测量测验的整个效度
2.统计分析法
除了描述性语言外,内容效度的的确定也可采用一些统计分析方法。例如计算两个评分者之间的评定的一致性,虽然考察的是评分者的判断信度,但由于来自两个独立的评者,因此符合越高越能反映测验的内容效度。
3.经验推测法
通过实践来检验效度
㈢内容效度的特性:
内容效度经常与表面效度(face validity)混淆。表面效度是由外行对测验作表面上的检查确定的,它不反映测验实际测量的东西,只是指测验表面上看来好像是测量所要测的东西;内容效度是由够资格的判断者(专家)详尽地、系统地对测验作评价而建立的。
在编制测验时,表面效度是一个必须考虑的特性。
二、构想效度(construct-related validity)
㈠什么是构想效度:
指测验能够测量到理论上的构想或特质的程度,即测验的结果是否能证实或解释某一理论的假设、术语或构想,解释的程度如何。
㈡构想效度的估计方法:
1.对测验本身的分析;
2.测验间的相互比较:容效度、区分效度、因素分析法;
3.效标效度的研究证明;
4.实验法和观察法证实。
三、效标效度(criterion-related validity)
㈠什么是效标效度:效标效度又称实证效度,反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准,简称效标。
根据效标资料是否与测验分数同时获得,又可分为同时效度和预测效度两类。
一个好的效标必须具备以下条件:
①效标必须能最有效地反映测验的目标,即效标测量本身必须有效; ②效标必须具有较高的信度,稳定可靠,不随时间等因素而变化;
③效标可以客观地加以测量,可用数据或等级来表示;
④效标测量的方法简单,省时省力,经济实用。
㈡效标效度的评估方法
1.相关法:
相关法是评估效标效度最常用的方法,它是求测验分数与效标资料间的相关,这一相关系数称为效度系数。
计算效度系数最常用的是积差相关法,因这测验分数和效标资料通常都是连续变量。但在特殊情况下,也可采用其他方法。当测验成绩是连续变量,而效标资料是二分变量时,计算效度系数可用点二列相关公式或二列相关公式。点二列相关与二列相关的区别是前者其中一个变量是真正的二分称名变量,而后者两个变量原来都是连续变量,其中一个由于某种原因,被人为地分为两个类别,变成了二分称名变量。当测验分数为连续变量,效标资料为等级评定时,可用贾期朋我系列相关公式计算。
2.区分法:区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法。
3.命中率法 命中率法是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。
正命中率高低常随划分测验分数成功与失败的临界分数的高低而变化。显然,临界分数越高,正命中率也越高,反之,临界分数越低,则正命中率也越低。
|