|
结构化面试信度和效度的实证分析 ——对新录用公务员试用期表现的跟踪调查 结构化面试是一种以行为描述方法为主的，并按测量要求事先拟定提问内容和顺序的面试。它具有测试要素结构化、面试程序结构化和评分标准结构化三大特点。自实施国家公务员制度十年来，它已经被广泛地应用到各级公务员录用考试中。考试的科学性是考试录用制度的生命线，而面试的公正与客观更是社会关注的热点。结构化面试的信度是测试过程本身的可靠程度，即可信度；结构化面试的效度是测试结果达到预期目标的程度。结构化面试的信度和效度究竟如何？我们曾尝试通过对新录用公务员试用期表现的跟踪调查，应用量表测评和数理统计的方法对结构化面试的信度和效度进行实证分析。现将有关调查情况综述如下：一、调查的组织今年8月，我们对2002年新录用的国家公务员和机关工作人员的试用期表现，分别采用量表测评和民主评议的方式进行跟踪调查。（一）确定测评要素与评分标准。根据县级市机关国家公务员和机关工作人员职位的共性特点和任职条件，采用与2002年录用面试同结构的测评要素和评分标准，编制了《新录用人员试用期能力评估表》（表一）。（二）组织评估。我们专门下发了《关于对2002年新录用国家公务员和机关工作人员试用期情况进行调研的通知》，要求各有关部门按照领导评鉴和群众测评相结合的原则，组织主管领导和群众对每个新录用公务员在试用期间的政策水平与综合分析能力、计划与组织能力、社会感知与协调能力、记忆和理解能力和文化素养与心理素质等六个方面的能力评估后，填报《新录用人员试用期能力评估表》。（三）复核和评价。为了做好新录用公务员试用期能力评估结果的复核，我们还要求各部门采用领导、本人和群众“三结合”的调查方式，通过对被测评人在试用期表现和工作环境的全面评价，复核能力评估的结果。复核结论反映评估结果基本符合新录用人员的实际情况。二、调查结果的分析通过新录用结构化面试成绩和试用期跟踪测评成绩的相关分析，研究结构化面试的信度和效度。（一）编制相关表，判断相关关系。将2002年37位考试录用国家公务员和机关工作人员的面试成绩和试用期跟踪测评成绩，按面试成绩的高低排列，编出相关表，如表二所示。从上述相关表中可以看出，随着录取成绩的降低，测评成绩也有下降趋势，但不明显。（二）画出相关图，分析相关趋势。以x轴代表新录用公务员结构化面试成绩（自变量），y轴代表新录用公务员试用期跟踪调查的测评成绩（因变量），将新录用公务员上述两项成绩的对应数值在座标图上用点画出来，以表明相关点的分布状况，如图一所示。图一中的两条直线分别代表自变量数列的平均线（即新录用公务员结构化面试的平均成绩：x(—)=70.34分）和因变量数列的平均线（即新录用公务员试用期跟踪测评的平均成绩：y(—)=78.30分）。以这两条平均线为标准就可以清楚地看出：有25位新录用公务员的两项成绩呈正相关（x>x(—)时对应的y>y(—)或x<x(—)时对应的y<y(—)）。有12位新录用公务员的两项成绩呈负相关（x>x(—)时对应的y<y(—)或x<x(—)时对应的y>y(—)）。加总的结果∑（x>x(—)）（y<y(—)）为正数，表示新录用公务员试用期能力评估结果与结构化面试成绩呈正相关。[1] [2] 下一页 |
