English

• 

  SEC一致性分析范式是由安德鲁·帕特和约翰·史密森研制，借鉴和吸纳了美国学者诺曼·韦伯在评价与课程标准一致性领域的研究成果，即Webb一致性分析范式^[1]。那么SEC一致性分析范式是否是Webb一致性分析范式的进步和发展，在实际运用中哪种分析范式更具优势？以“2014年山东省某市中考试题与课程标准的一致性分析”为案例展开讨论。

  1    目标水平及内容的分类

  表2 内容分类 Table2. Classification of the contents

  表选项

  导出Excel

  下载全尺寸表图像

  主题1	主题2	主题3	主题4	主题5	主题6
  科学探究	身边的化学物质	物质构成的奥秘	物质的化学变化	化学与社会发展	其他
  1.学习基本的实验技能	1.我们周围的空气 2.水与常见的溶液 3.金属与金属矿物 4.生活中常见的化合物	1.化学物质的多样性 2.微粒构成物质 3.认识化学元素 4.物质组成的表示	1.化学变化的基本特征 2.认识几种化学反应 3.质量守恒定律	1.化学与能源和资源的利用 2.常见的化学合成材料 3.化学物质与健康 4.保护好我们的环境	-
  注：由于试题中个别被考查的知识点在“课标”中没有相对应的目标，所以在内容分类中设置了“其他”一项。

  表2 内容分类
  Table2. Classification of the contents
  表1 目标水平的分类^[3] Table1. Classification of the objective levels

  表选项

  导出Excel

  下载全尺寸表图像

  目标水平		表现
  认知性目标	A1	记忆，对知识要点进行回忆或再认
  	A2	理解，对知识本体及其相关知识之间的关系进行分析、比较、解释和举例说明
  	A3	直接应用，在问题解决活动中能够运用所学知识对熟悉的具体情境进行判断，建立起知识和实际的直接对应性联系
  	A4	转换和间接应用，在问题解决活动中能够综合运用相应的化学知识对新的、陌生的复杂问题进行运算、分析和说明，提出清晰、完整的观点和看法
  技能性目标	B1	模仿操作，初步学习
  	B2	独立操作，初步学会

  表1 目标水平的分类^[3]
  Table1. Classification of the objective levels

  无论是运用SEC一致性分析范式还是Webb一致性分析范式都需要对“目标水平”和“内容分类”做出标准规划。对义务教育化学课程标准^[2](以下简称“课标”)中“目标水平”和“内容分类”划分分别见表 1和表 2。

  2    对试题的编码

  运用SEC一致性分析范式和Webb一致性分析范式在对试题编码时，都需要将试题中被考查的知识点与“课标”中的具体目标对应起来，这样才能在一定程度上提高一致性分析的准确性。然而在运用2者对试题及“课标”编码时又有所差异，主要表现如下：

  (1) 运用SEC一致性分析范式可以对试题中每个选项或每空进行赋分，如表 3所示。这种赋分原则既能对试题中每个被考查的知识点“均等化”，又能体现试题对每个被考查知识点的考查水平及重视程度。然而对“课标”中具体目标的编码无法使用该赋分原则，对知识点的统计为个数统计。因此，运用SEC一致性分析范式对试题及“课标”的编码原则显然并不完全统一。

  表3 运用SEC一致性分析范式对“课标”和试题编码 Table3. The code of the curriculum standard and the test using SEC consistency analysis paradigm

  表选项

  导出Excel

  下载全尺寸表图像

  标准	具体目标	具体目标水平	试题及其水平
  3.质量守恒定律	1.认识质量守恒定律	A2	7CA2*1/2, 14(1) A2*1, 14(4) A2*1
  	2.能说明化学反应中的质量关系	A3	7BA3*1/2
  	3.能正确书写简单的化学方程式	A2	14(3) A2*1, 16(2) A2*1, 17(2) A2*1/2
  	4.能根据化学反应方程式进行简单的计算	A3	11A4*1, 16(4)(5)(6) A3*4, 18(4) A4*3
  注：7C表示第7题C选项；14 (1)表示第14题第1个空(或第1问)；其他同理；*后的数值表示该考查点所占分值。

  表3 运用SEC一致性分析范式对“课标”和试题编码
  Table3. The code of the curriculum standard and the test using SEC consistency analysis paradigm

  (2) 与SEC一致性分析范式相比，Webb一致性分析范式在运用过程中对试题的编码与对“课标”的编码保持一致，即需要统计被考查知识点个数，如表 4所示。但是与之对应的问题也随即出现：具体到试题中被考查的知识点时，会发现每个被考查知识点所占分值就被视为相同，按照这种计数原则，如果考查知识点多的题目在评价中所占比例较大，则会产生较大的偏差。

  表4 运用Webb一致性分析范式对“课标”和试题编码 Table4. The code of the curriculum standard and the test using Webb consistency analysis paradigm

  表选项

  导出Excel

  下载全尺寸表图像

  标准	具体目标	具体目标水平	试题及其水平	统计
  3.质量守恒定律	1.认识质量守恒定律	A2	7CA2, 14(1) A2, 14(4) A2	3个A2
  	2.能说明化学反应中的质量关系	A3	7BA3	1个A3
  	3.能正确书写简单的化学方程式	A2	14(3) A2, 16(2) A2, 17(2) A2	3个A2
  	4.能根据化学反应方程式进行简单的计算	A3	11A4, 16(4)(5)(6) A3, 18(4) A4	3个A3, 2个A4
  注：3个A2表示与具体目标“认识质量守恒定律”对应的考查点有3个并且水平均为A2。

  表4 运用Webb一致性分析范式对“课标”和试题编码
  Table4. The code of the curriculum standard and the test using Webb consistency analysis paradigm

  3    对试题和“课标”的一致性分析比较

  

  图1 “课标”与试题的主题分布比较

  Figure 1. Comparison of subject distribution in curriculum standard and the test

  图选项

  下载全尺寸图像

  下载幻灯片

  (1) 运用SEC一致性分析范式的关键是要建立一个“内容-认知水平”矩阵。根据以上对“目标水平”与“内容分类”的划分构建二维表，之后对试题与“课标”分别进行编码赋分，并归一化处理，计算Porter一致性指数，记为P′^[4-5]，并与利用matlab软件里的unidrnd函数计算出的临界值P作比较，比较结果即为判断结果。

  利用SEC一致性分析范式分析一致性，结果可结合柱形图进行具体分析。

  (2) 运用Webb一致性分析范式，对结果判断需从知识种类、知识深度、知识广度、知识平衡性4个维度进行，4个维度的标准必须同时满足，方可判断一致性良好。对“课标”和试题的编码仍由上述3人小组按同样步骤进行，最后得到一份统一的编码表。据此编码表将试题与“课标”编码一一比对，根据试题击中“课标”相应目标程度(见表 5)，结合临界值(见表 6)进行判断。

  如图 2所示，A2水平试题与“课标”相差甚微，A1水平试题要远远低于“课标”，除此之外，其他水平试题都要高于课程标准。这正说明相对于“课标”对学生水平的要求，试题要高一些。其主要原因还是要归结于该试题是中考试题，要为高中选拔良好生源，对学生学习成绩的考查要具有较高的区分度，因此整套试题的考查水平高于“课标”要求，也在情理之中。

  表6 Webb一致性分析范式的分析维度及一致性可接受水平^[6] Table6. Analysis dimensions of the Webb consistency analysis paradigm and the acceptable level

  表选项

  导出Excel

  下载全尺寸表图像

  一致性判断	知识种类	知识深度	知识广度	分布平衡性
  可接受水平(是)	≥6道题	≥50%	≥50%	≥0.70
  不可接受水平(否)	< 6道题	< 50%	< 50%	< 0.70

  表6 Webb一致性分析范式的分析维度及一致性可接受水平^[6]
  Table6. Analysis dimensions of the Webb consistency analysis paradigm and the acceptable level

  ②目标水平方面的比较

  由表 5可以看出，4个维度的标准并没有完全满足，因此可以判断该试题与课程标准的一致性结果不佳。利用Webb一致性分析范式具体分析可知：知识种类一致性上，除主题5外，各个主题考查的知识点数均大于6，达到可接受水平；知识深度一致性上，试题对各个主题的考查水平，均达到可接受水平。主题1和主题5所对应知识点与目标对照的深度水平达到了100%，主题2、主题3及主题4中存在考查的部分知识点水平高于目标要求，这由该试题性质所致；知识广度一致性上，主题1、主题3及主题4达到了可接受水平，主题2较弱，该主题中含有29个具体目标，但击中的目标数仅为12个，且主要集中于“水与常见的溶液”与“生活中常见的化合物”2个标准中，对“我们周围的空气”和“金属与金属矿物”这2个标准的考查较少，因此知识广度的一致性较弱。主题5知识广度的一致性太差，究其原因主要是试题本身对该主题考查很少，只考查了2个知识点分别对应于“课标”中2个具体目标；最后从知识的平衡性来看，除主题1对技能性目标的评价可接受外，其他几个主题的平衡性均未达到可接受水平，尤以主题2和主题5最为严重。平衡性指数较差说明，试题对于知识点的考查过于集中，分布不均匀，这可能也与知识点的考查方式难易相关，但该方面确实应引起命题人足够的重视，并进一步改善。

  表5 运用Webb一致性分析范式对试题与“课标”一致性分析 Table5. Analysis on the consistency of the curriculum standard and the test using the Webb consistency analysis paradigm

  表选项

  导出Excel

  下载全尺寸表图像

  内容领域	种类一致性		深度一致性				广度一致性			平衡性
  	击中的项目数	一致性接受水平(≥6)	与目标对照的深度水平/%			一致性接受水平(≥50%)	目标击中数	目标击中比例/%	一致性接受水平(≥50%)	平衡性指数	一致性接受水平(≥0.70)
  			低于	符合	高于
  主题1	10	是	0.00	100.00	0.00	是	7	77.78	是	0.78	是
  主题2	19	是	5.26	57.89	36.85	是	12	41.38	否	0.41	否
  主题3	17	是	5.88	64.71	29.41	是	11	61.11	是	0.61	否
  主题4	18	是	0.00	83.33	16.67	是	8	61.54	是	0.57	否
  主题5	2	否	0.00	100.00	0.00	是	2	13.33	否	0.13	否

  表5 运用Webb一致性分析范式对试题与“课标”一致性分析
  Table5. Analysis on the consistency of the curriculum standard and the test using the Webb consistency analysis paradigm

  由2位课程与教学论(化学教学论方向)的研究生和1位化学教学论专家分别对“课标”和试题进行独立编码，并利用SPSS 19.0计算其Kendall相关系数，结果表明在P=0.01上具有很好的相关性。然后3人将个别不一致的项目编码讨论，并征求中学特级教师的意见，最终得到一份统一的编码数据。据此编码数据最后求得P′=0.5896，明显小于临界值P(0.6388)，因此可以判断试题与“课标”之间一致性较差，存在显著性差异。

  如图 1所示，试题和“课标”差距最大的是主题4，差距几乎达到0.2，试题在主题4上的设置明显超过了“课标”。原因可归于2方面：主题4“物质的化学变化”是教学和考查的重点；该主题中涉及有关化学反应的计算等，比较容易出题考查，所以试题中该主题设置题目较多并不奇怪。试题和“课标”之间除主题4差距较大外，主题2和主题5的差距也较大，不同的是试题关于这2个主题的考查要低于“课标”，这主要是因为：首先，试题数量受到限制，以上已提及试题针对主题4设置题目相对较多，势必会影响到对其他主题的考查；其次，2个主题的内容涉及化学与生活、生产及环境等的联系，试题对此考查仍重视不足，应继续改善。主题1为“科学探究”，选用该主题的主要原因是为了评价试题与“课标”中技能性目标的一致性，需说明一点，将“课标”中所有的技能性学习目标都归于该主题中。通过图 1可以看出，试题对技能性目标的考查给予了重视。主题6的出现也应注意一下，试题中存在个别题目超纲的“嫌疑”，此类题目无法与“课标”中具体目标对应。当然，由于选用的评价样本为中考试题，是高中选拔人才的重要依据，因此出现“超纲现象”，也可以理解与接受。试题与“课标”中主题3所占比重较接近，有较好的一致性。

  

  图2 “课标”与试题的目标水平分布比较

  Figure 2. Comparison of the target level distribution in curriculum standard and the test

  图选项

  下载全尺寸图像

  下载幻灯片

  ①主题方面的比较

  4    结论

  (2) 运用Webb一致性分析范式时，数值计算基于对被考查知识点数目的统计是否合理？尤其部分题目考查了多个知识点，都计数来算，这样的题目对结果“贡献”较大，影响一致性分析。但是该问题对应Webb一致性分析范式中知识种类一致性的可接受水平：评价至少有6道测验题目与课程标准的内容相对应^[7]。因此，若不计数来算，该维度又该如何制定可接受标准？

  2种模式对试题及“课标”一致性结果的具体分析都各具特色。运用SEC一致性分析范式对比较对象进行量化，柱形图的应用使结果呈现更加简单明了，便于比较。而Webb一致性分析范式从知识种类、知识深度、知识广度及知识平衡性4个维度对一致性具体分析研究，既有量化研究又有质性研究，在该方面相比于SEC一致性分析范式显得更充实。

  总体来讲，2种一致性分析范式方便了对课程标准及学业水平考试题等一致性的研究，但2者也都存在“短板”。并且，Webb一致性分析范式与SEC一致性分析范式的开发都是针对美国的课程标准，美国的课程标准规定较细，有较明确的评价标准；而我国的课程标准弹性大，只有评价建议，直接运用2种一致性分析范式对课程标准及试题进行深度编码评价时难免会出现难以相对应的问题^[8]。因此进行一致性研究^[9-11]时要多途径、多方位地分析，结合具体学科课程标准对分析工具进行调整，弥补各一致性分析范式的缺陷，使其更加完善，甚至开发出更合理的、简便的一致性分析范式，以加快一致性分析工具本土化的进程。

  (1) 运用SEC一致性分析范式时，既然考试题可以赋分，那么是否也能对“课标”中的具体目标赋分？如果可行，该如何赋分？

  综上所述，无论是运用SEC一致性分析范式还是Webb一致性分析范式都需要对目标水平及内容分类进行划分，然而涉及试题与“课标”具体编码时，2者之间有较大的差异，同时存在目前无法解决的“不均等”问题。针对试题与“课标”统一均等编码的问题，提出以下几点思考：

• 1. [1]

     刘学智, 马云鹏.比较教育研究, 2007, 43(5):64-68 http://d.wanfangdata.com.cn/Periodical/bjjyyj200705013

  2. [2]

     中华人民共和国教育部.义务教育化学课程标准(2011年版).北京:北京师范大学出版社, 2012

  3. [3]

     王磊, 黄琼, 刘东方.基础教育课程, 2010, 18(3): 75-80 http://www.cnki.com.cn/Article/CJFDTotal-JCJK201003019.htm

  4. [4]

     Porter A C. Educational Researcher, 2002, 31(7):3-14 doi: 10.3102/0013189X031007003

  5. [5]

     Porter A C, Smithson J, Blank R K, et al. Applied Measurement in Education, 2007, 20(1):27-51 doi: 10.1080/08957340709336729

  6. [6]

     Webb N L. Wisconsin: National Institute for Science Education University of Wisconsin-Madison, 1999:11-18

  7. [7]

     焦传玲, 张雨强.化学教育, 2011, 32(8):32-33 http://www.hxjy.org/CN/abstract/abstract1020.shtml

  8. [8]

     段戴平, 李广州, 倪娟.化学教育, 2014, 35(13):37-42 http://www.hxjy.org/CN/abstract/abstract8351.shtml

  9. [9]

     刘学文, 韩庆奎, 郭敏, 等.化学教育, 2015, 36(17):49-54 http://www.hxjy.org/CN/abstract/abstract9565.shtml

  10. [10]

      刘学文, 韩庆奎, 相虎.化学教育, 2015, 36(3):32-36 http://www.hxjy.org/CN/abstract/abstract9236.shtml

  11. [11]

      段戴平, 李广洲, 倪娟.化学教育, 2014, 35(13):37-42 http://www.hxjy.org/CN/abstract/abstract8351.shtml

• 

  图 1  “课标”与试题的主题分布比较

  Figure 1  Comparison of subject distribution in curriculum standard and the test

  下载: 全尺寸图片 幻灯片
  

  图 2  “课标”与试题的目标水平分布比较

  Figure 2  Comparison of the target level distribution in curriculum standard and the test

  下载: 全尺寸图片 幻灯片

  表 1  目标水平的分类^[3]

  Table 1.  Classification of the objective levels

  目标水平		表现
  认知性目标	A1	记忆，对知识要点进行回忆或再认
  	A2	理解，对知识本体及其相关知识之间的关系进行分析、比较、解释和举例说明
  	A3	直接应用，在问题解决活动中能够运用所学知识对熟悉的具体情境进行判断，建立起知识和实际的直接对应性联系
  	A4	转换和间接应用，在问题解决活动中能够综合运用相应的化学知识对新的、陌生的复杂问题进行运算、分析和说明，提出清晰、完整的观点和看法
  技能性目标	B1	模仿操作，初步学习
  	B2	独立操作，初步学会

  下载: 导出CSV

  表 2  内容分类

  Table 2.  Classification of the contents

  主题1	主题2	主题3	主题4	主题5	主题6
  科学探究	身边的化学物质	物质构成的奥秘	物质的化学变化	化学与社会发展	其他
  1.学习基本的实验技能	1.我们周围的空气 2.水与常见的溶液 3.金属与金属矿物 4.生活中常见的化合物	1.化学物质的多样性 2.微粒构成物质 3.认识化学元素 4.物质组成的表示	1.化学变化的基本特征 2.认识几种化学反应 3.质量守恒定律	1.化学与能源和资源的利用 2.常见的化学合成材料 3.化学物质与健康 4.保护好我们的环境	-
  注：由于试题中个别被考查的知识点在“课标”中没有相对应的目标，所以在内容分类中设置了“其他”一项。

  下载: 导出CSV

  表 3  运用SEC一致性分析范式对“课标”和试题编码

  Table 3.  The code of the curriculum standard and the test using SEC consistency analysis paradigm

  标准	具体目标	具体目标水平	试题及其水平
  3.质量守恒定律	1.认识质量守恒定律	A2	7CA2*1/2, 14(1) A2*1, 14(4) A2*1
  	2.能说明化学反应中的质量关系	A3	7BA3*1/2
  	3.能正确书写简单的化学方程式	A2	14(3) A2*1, 16(2) A2*1, 17(2) A2*1/2
  	4.能根据化学反应方程式进行简单的计算	A3	11A4*1, 16(4)(5)(6) A3*4, 18(4) A4*3
  注：7C表示第7题C选项；14 (1)表示第14题第1个空(或第1问)；其他同理；*后的数值表示该考查点所占分值。

  下载: 导出CSV

  表 4  运用Webb一致性分析范式对“课标”和试题编码

  Table 4.  The code of the curriculum standard and the test using Webb consistency analysis paradigm

  标准	具体目标	具体目标水平	试题及其水平	统计
  3.质量守恒定律	1.认识质量守恒定律	A2	7CA2, 14(1) A2, 14(4) A2	3个A2
  	2.能说明化学反应中的质量关系	A3	7BA3	1个A3
  	3.能正确书写简单的化学方程式	A2	14(3) A2, 16(2) A2, 17(2) A2	3个A2
  	4.能根据化学反应方程式进行简单的计算	A3	11A4, 16(4)(5)(6) A3, 18(4) A4	3个A3, 2个A4
  注：3个A2表示与具体目标“认识质量守恒定律”对应的考查点有3个并且水平均为A2。

  下载: 导出CSV

  表 5  运用Webb一致性分析范式对试题与“课标”一致性分析

  Table 5.  Analysis on the consistency of the curriculum standard and the test using the Webb consistency analysis paradigm

  内容领域	种类一致性		深度一致性				广度一致性			平衡性
  	击中的项目数	一致性接受水平(≥6)	与目标对照的深度水平/%			一致性接受水平(≥50%)	目标击中数	目标击中比例/%	一致性接受水平(≥50%)	平衡性指数	一致性接受水平(≥0.70)
  			低于	符合	高于
  主题1	10	是	0.00	100.00	0.00	是	7	77.78	是	0.78	是
  主题2	19	是	5.26	57.89	36.85	是	12	41.38	否	0.41	否
  主题3	17	是	5.88	64.71	29.41	是	11	61.11	是	0.61	否
  主题4	18	是	0.00	83.33	16.67	是	8	61.54	是	0.57	否
  主题5	2	否	0.00	100.00	0.00	是	2	13.33	否	0.13	否

  下载: 导出CSV

  表 6  Webb一致性分析范式的分析维度及一致性可接受水平^[6]

  Table 6.  Analysis dimensions of the Webb consistency analysis paradigm and the acceptable level

  一致性判断	知识种类	知识深度	知识广度	分布平衡性
  可接受水平(是)	≥6道题	≥50%	≥50%	≥0.70
  不可接受水平(否)	< 6道题	< 50%	< 50%	< 0.70

  下载: 导出CSV
•