大数据理念下教育质量监测评价的变革与发展

　　但是CTT的缺陷与不足也是非常明显的：用CTT方法所求得的题目参数会受到不同考生样本组能力水平的影响，对考生能力的估计也会因测验的不同而不同。由CTT关于信度公式的分析推导中可知，CTT的信度值只是低限估计，故只能假定测验误差对所有考生都一样。因而在某种意义上说，CTT难以提供考生得到分数的精确信息，也就是说，难以实施与考生实际能力水平相当的考试，故而以“选拔”及突显“专长”为导向的测试难以实施。

　　（二）现代项目反应理论及其优势

　　1963年发展的项目反应理论是针对CTT的不足加以改进的方法。IRT的最大特点就是它找到了一条题目特征曲线（Item Characteristic Curve,ICC），并且以多种数学表达式（或称数学模型）来描述它和逼近它。[6]题目特征曲线的数学模型一般包含两个方面的参数：题目参数和考生能力参数。从理论上说，IRT有效地解决了CTT中无法建立考生得分与测验题目参数之间函数关系的问题，题目参数不受考生样本影响，考生能力不因测验改变而改变。

　　在题目分析和估计考生能力的同时，IRT可以得到题目信息函数和测验信息函数这两个统计量。这两个测验信息量为精确估计每个考生的能力水平提供了标准，也为自适应测验的实施提供了必要的条件。

　　IRT虽然具有这些优势，但仍只有一个分数（只不过这个分数变成了能力水平）来评价考试结果，无法回答在考试中学生哪方面能力或知识的缺失造成了失分，学生存在哪些不足及应如何补救。

　　（三）新一代认知诊断理论及其优势

　　通常把对个体知识结构、加工技能或认知过程（均简称为“attribute”）的诊断评估称为认知诊断评估或认知诊断（Cognitive Diagnosis Assessment/Cognitive Diagnosis）。[7]可以说，认知诊断理论弥补了CTT和IRT只能提供一个测验分数（或能力参数）的不足，实现了对学生更为精细的诊断与区分。

　　认知诊断理论把认知过程与测量手段结合起来，不仅能对考生的整体水平做出评估，同时将考生的认知结构模式化，利用合适的测量模型对不同的认知结构模式进行诊断，从而定量地考查考生的认知结构和个体差异，实现因人而测，并对不同的考生给出不同的评价结果。因此认知诊断的结果更微观、详细、精确，除了估计每位考生的能力值，还可以诊断考生的学习优势或劣势，为提升或补救教学提供确切的依据。新一代认知诊断理论具有广阔的应用前景。

　　三、三种测量理论与方法的比较、分析及其在大数据理念下的应用建议

　　经典测量理论（CTT）、项目反应理论（IRT）和认知诊断理论（CDT）各有优势与不足。通过上面的分析，我们可以对这三种理论的优势与不足总结如下：

　　经典测量理论（CTT）的优势在于它便于理解和操作，团体可共用一份试卷，因此测验成本较低，在实际中的应用也比较广泛和成熟。其不足在于被试的能力水平与测验相关、题目参数与测验样本相关，被试能力与题目参数不在同一量尺上，同时CTT只提供一个信度值，测量误差估计笼统、不精确，测验结果的准确性与推广性相矛盾。

　　项目反应理论（IRT）克服了经典测量理论（CTT）“测验相关”“样本相关”等不足，对被试能力的估计比经典测量理论更为精确，同时它也克服了经典测量中所有被试完成同一份测验的弊端，实现了“因材施测”“因人而测”的目标。其不足在于测验理论较为复杂，需要由具备统计测量学知识的专家进行操作，对计算机的要求较高，测验样本容量相对也较大，因此测验成本较高。此外，它对被试能力的定义还只是通过单一的能力值，未能进一步考查被试的认知结构。

　　认知诊断理论（CDT）继承了IRT的优良特性，不但可以因人而测，还可以对不同的人给出不同的评价结果，做到可以不用“统考”也可以分析收集数据，给出教学质量的评价。它能够精确地测量、诊断被试的认知属性结构，能够为提升或补救教学提供确切的依据，为教学质量的改进与提高指明方向。其不足在于测验理论较为复杂，尤其是命题要求很高，需要由统计测量专家与认知心理学专家、学科专家通力合作进行。同时其对认知属性的划分较为困难，需要根据所测认知领域的特点结合专门技术进行，因此初始测验的成本也较高。

　　随着计算机技术的普及和教育大数据的获得，三大测量理论在教育实践中都有条件得以实现。除了CTT得到广泛应用之外，IRT和CDT也在国内外大型测验中得到了应用。因此，本文对三大测量理论在教育大数据下的应用给出如下建议。CTT可以普遍使用，同时要将其相关的理论与知识进行普及，使其成为每个教师除教育学、心理学、教学法以外应该掌握的基本技能。IRT可以在学校、市、省级区域应用，适用于会考、能力水平考试，以降低大规模考试的各种压力。CDT可以在学校、行政区层面应用，也可以在高考改革及教育质量监测中应用，为实现“因材施教”的个性化教学奠定了基础，应用前景广阔。

　　在教育大数据的理念下，基于新一代测量理论与方法的教育质量监测与评价将在教育活动中发挥更大作用。

　　（作者：　张敏强，华南师范大学心理学院教授　凡细珍，华南师范大学心理学院博士研究生　郭凯茵，广东省心理学会教育测量与考试评价技术研究院副院长　钟阳，广州市教育研究院教育质量评价与监测部主任）