近年来,随着我国高等教育“大众化”的实现,高等教育的教育教学质量越来越受到重视,国内学者对大学课堂教学质量的关注度也逐渐升温。学生作为课堂教学受众和教学活动的主体之一,在课堂教学质量评估中理应拥有一定“发言权”。因此,学生评教往往和同行评教、专家评教、管理者评教一起构成教育评估的4个视角。然而,学生评教自出现以来,其效度一直备受争议。人们对学生评教的质疑主要集中在:学生评教指标和工具的科学性;学生评教的使用与设计者预期并不一致。在实践中,学生评教往往出现学生参与积极性不高,部分教师对学生评教存在抵制情绪。针对学生评教的理论分歧和实施现状,有必要加强学生评教的理论和技术研究,以利于学生评教工作的推行。
课程体验问卷(course experience questionnaire,CEQ)是澳大利亚在高等教育评估中广泛施行的一种调查问卷。问卷面向所有完成课业的毕业生发放,目的是寻求学生对教学质量的反馈,常常以课程为调查对象。大多数澳洲大学通过此项问卷的内部调查,实现自我评估与不断完善。课程体验问卷是一个标准化的面向全系统的调查,集中于毕业生对他们所学过的所有课程的理解,以期成为检查学生学习结果的一项替代性手段。因此,“课程体验问卷”设计检验教学方面的项目是与学生有效学习相联系的。
澳大利亚通过课程体验问卷开展“学生评教”,特点比较鲜明,发展比较成熟,成为澳洲高等教育评估的一大特征。整体来说,课程体验问卷强调了解大学生对就读大学所提供的课程及教学质量的感知,从学生受教体验或学习体验得到回应,关注教学质量生成过程中学生的学习行为、学习状态、学习成效,从学生的视角审视课程与教学质量。其独特的视角对于我国的学生评教有着很好的借鉴意义。但是,考虑到我国的高等教育与澳大利亚相比难免存在诸多差异,我国的高等教育无论在社会环境、文化背景、高等教育体制和管理,还是学生自身特点等方面都有着自身鲜明的特点。基于此,课程体验问卷的结构能否适用于我国还未能可知。本研究尝试以澳大利亚课程体验问卷为基础,通过试测,初步开发适用于我国的大学课堂教学质量评估学生问卷。
1 研究过程及方法
1.1 问卷的初步编制
澳大利亚的CEQ包括11项指标,分别是良好的教学(good teaching)、清晰的目标和标准(clear goalsand standard)、合理的考核与评价(appropriate assessment)、合适的作业量(appropriate workload)、基本技能(generic skills)、学生学习支持(student support item)、学习资源(learning resources)、学习共同体(learningcommunity)、毕业生素质(graduate qualities)和智能激发(intellectual motivation)、大学体验总体满意度(overall satisfaction item)。依据CEQ的使用原则,相关学校可根据自身情况任意选取11项指标的几项指标形成问卷,但必须包括3个核心指标:良好的教学、基本技能、大学体验总体满意度。
考虑到原CEQ问卷中,学生学习支持、学习资源2个评价指标是针对学校为学生提供的学习设施和学习资源的评估,而本研究重点关注较为微观的课堂教学质量,因此去除了上述2个指标,选用了其中的9个指标,共39个项目。将原始问卷进行了2轮的中英文互译,形成初始问卷。让被试针对指定的上学期学习过的某门课程,根据个人的实际情况,回答在每一个项目上的符合程度,问卷采用五点量表计分(1-非常不符合,2-比较不符合,3-不确定,4-比较符合,5-非常符合);得分越高代表对项目的表述越赞同。
1.2 研究样本
采用整群分层随机抽样的方法,选取天津职业技术师范大学337名在校生,发放问卷,回收问卷325份,回收率96%,其中有效问卷291份,有效率90%。样本结构见表1。
1.3 数据分析
采用SPSS for Windows 13.0进行数据分析。
2 结果与分析
2.1 探索性因素分析
进行探索性因素分析前,首先采用KMO检验、Bartlett′s球形检验对变量的相关矩阵进行分析,以考察所有项目是否适宜进行因素分析。KMO检验结果:KMO=0.931>0.9;Bartlett′s球形检验的χ2=3 278.079,df=300,p=0.000,均表明适合做因素分析。采用主成分分析法(PFA)和斜交旋转轴法对39个项目进行探索性因素分析,公共因子的碎石图如图1所示。抽取特征值大于1的因子共有6个,累计贡献率为58.344%。经删去因子负荷小于0.3的项目和在多个因子上负荷大于0.3的项目,多次重新探索后保留其中25个项目,特征值大于1的因子有4个。最终提取4个公共因子,累计贡献率为58.684%,各因子的变异解释率分别为:39.338%、7.149%、6.502%和5.695%。25个项目的共同度在0.434~0.763之间,表明25个题目的信息在4 因子模型中得到了较好的体现。
采用斜交旋转轴得到因子负荷矩阵。旋转后因子符合情况如表2所示,每个项目在其相应因子上载荷均大于0.4,且大部分在0.6以上,符合因子负载显著的标准。
问卷最终确定的公共因子有4个,遵循“参照题目因子的负荷值命名”的原则,根据负荷值较高的题目及大部分题目的含义命名对公共因子进行命名。因子1包括10个项目,主要涉及老师的教学行为,命名为“良好的教学”;因子2包括2个项目,主要涉及课业量的问题,可命名为“学习量合理”;因子3包括5个项目,主要与课堂质量有关,命名为“课堂质量”;因子4包括8个项目,主要涉及学生课堂中的收获,命名为“课堂收获”。
2.2 问卷的信度和效度检验
问卷分半信度为0.898,内部一致性信度为0.928,表明问卷的稳定性较高,具有较高的信度。
问卷总分与各分量表及各分量表之间的相关性如表3所示。
问卷的总分与各分量表之间的相关系数可作为衡量量表的结构效度指标。由表3可知,各分量表与问卷总分之间存在着显著正相关;除学习量合理因子外,各分量表之间存在显著相关:良好的教学与学习量合理呈低度相关(r良学=0.065,p>0.05),与课堂质量及课堂收获呈中度相关(r良质=0.634,p<0.01;r良收=0.675,p<0.01);学习量合理往往与课堂质量和收获呈低度相关(r学质=0.110,p>0.05;r学收= 0.037,p>0.05);课堂质量与课堂收获呈高度相关(r质收=0.638,p<0.01)。因此,问卷有较好的可测性,其结构效度较好。
2.3 大学生课程体验状态特征
将研究样本在各门功课上的课程体验得分分别进行统计并进行比较,结果如表4所示。
由表4可知,问卷总均分为3.339,各分量表的均分值在2.974~3.732之间,表明大学生课程体验的状态处于中等水平,其中课堂质量得分稍高,学习量合理因子的均分偏低,但标准差偏高,数据离散性大。在对不同课程类型的课程体验的差异比较中发现,学生对不同类型的课程体验差异显著(F=13.567,p<0.01)。
3 讨论
3.1 基于课程体验的课堂质量评估问卷的结构及各要素间的关系
探索性因素分析的主成分分析法是将若干个原始观测变量聚类为几个公共因子:一方面使有较高相关的原始变量合并在一个因子之下作进一步的分析,达到缩减变量的数目和简化数据分析的目的;另一方面考察各个因子与理论构想的结构之间的吻合关系。
通过探索性因素分析,基于课程体验的大学生课堂质量评估问卷的结构由4个因子构成:①良好的教学,主要指教师在课堂教育教学中的行为表现,不是简单的去评价教师穿着之类的外显行为,而是了解在学生从课程学习中体验到的教师对于提高教学质量、帮助学生学习所付出的努力,了解教师在教学过程中扮演的角色;②学习量合理,通过学生所体会到的课程学习压力,了解课程设置、教师在教育教学中学习任务分配等与学生接受程度相契合的合理程度;③课程质量,主要指学生学习课程后的接受程度、理解程度与对课程的评价反思,为教师对于教学方向目标的制定提供反馈;④课堂收获是学生从学会交流、解决问题能力、书面表达能力等更具体的角度,审视自己在各方面能力的提高,直观地了解学习的实效。
良好的教学、课堂质量和课堂收获3个因子间呈中低度相关,表明3个因子是一个既独立又统一的整体。然而,学习量合理这一维度与其他因子相关较低,且未达到显著水平。在探索性因素分析中,该因子项目数偏少,介于删除与否的临界水平,勉强被提取为公共因子。表明该因子在国内大学生的课程体验的结构中独立性特征并不明显。
3.2 因素分析结果与原CEQ问卷结构的比较
由于文化背景、社会经济环境和教育体制等方面的差异,我国大学生与国外大学生的学习情况必然存在差异,在引进国外成熟量表时,不易直接翻译使用,而是必须进行试测修订,从而形成符合我国大学生学习特点的本土化的量表。本研究中,通过因素分析发现,获得的结构与原CEQ的结构存在一定差异。将CEQ初始问卷结构与本研究探索性因素分析的结果对比:初始问卷由9个因子构成,而因素分析的结果为4个因子。
原问卷中“清晰的目标和标准”、“毕业生素质”、“总体满意度”、“学习共同体”、“考核合理”5个因子没有出现在公共因子中。但是我们注意到,上述几个因子中的项目并非简单地被删除,而是有些项目被纳入到剩余的4个因子中。如,原属“学习共同体”的项目“老师能够听取学生的想法和建议”,被纳入到“良好的教学”因子中,与对教师其他的教学行为体验高相关。可见,师生形成学习共同体在我国大学生课程体验中并没有作为一个独立的公共因子存在。或者说,并不是所有的大学课堂都能让学生体验到师生共同学习的氛围。再例如,在“学习量合理”因子中,学生在“教师通常给我足够的时间去理解所学的知识”体验普遍与其他的教师教学行为高相关,被纳入“良好的教学”因子,而非没有出现独立的“学习量合理”的公共因子。可见,我国大学生对于教师“良好的教学”赋予更为广泛的内涵。同样的问题也表现在了其他因子中。
此外,原属“总体满意度”的项目“总的来说,我很满意这门课程的质量”在探索性因素分析中被纳入“良好的教学”因子,说明我国大学生对课程的总体满意度与教师的良好的教学行为相关,具有高度一致性。这也成为我们基于大学生课程体验来评价课堂教学质量的构想的有力支持。可见,大学生课程体验问卷(CEQ)提供了从学生视角窥探课堂教学质量的良好途径。
通过对两国大学生课程体验问卷结构的对比,一方面反映了两国高等教育教学的不同风格,同时,从中也或许对我国高等教育教学的改革提供了借鉴。
3.3 大学生课程体验状态特征
根据对取样的291份问卷调查结果的统计分析,学生总体上对课程的体验持基本肯定态度。良好的教学因子均分为3.337,表明大学生对于其课程教师大体满意,对其教学行为与方式较为认可;课堂质量因子均分最高,为3.731,表明学生对所调查课程普遍接受程度较高,对课程设置较为满意,此项评分与良好的教学相一致;课堂收获因子均分为3.173,处于平均水平,表明学生对课程学习收获的体验处于基本水平;只有学习量合理的均分为2.974分,低于中等水平。
在对不同课程类型体验的比较分析中发现学生对不同类型的课程体验差异显著。说明问卷对不同类型的课程学习体验具有一定的区分度。
4 结束语
以澳大利亚课程体验问卷为基础修订制作的“大学课堂教学质量评估问卷”,经过探索性因素分析,问卷是由良好的教学、学习量合理、课堂质量、课堂收获4个因子构成。虽然因社会文化背景、教育体制等方面的不同,与原CEQ在结构上存在一定的差异,但样本数据中保留下来的因子对原模型的拟合较好,支持了原模型的基本结构。对该量表的信度和效度检验的结果表明,该量表稳定可靠,效度较有说服力,可以作为大学生课堂教学质量的评价工具。在对取样的数据分析中发现,虽然我国大学生的课程体验偏正面,但学生对调查课程的体验评价仅仅处于中等水平。可见,以课程体验问卷为蓝本,开发大学课堂教学质量评估问卷是可行的。在今后的研究中,有必要在扩大学校类型、课程类型和取样容量的基础上,对有关的影响因素做进一步的讨论和分析;通过验证性因素分析确认我国大学生课程体验的结构和作为大学课堂质量评估问卷的可行性和可推广性;并最终形成反应我国大学生课程体验结构的本土化问卷。
(摘选自《天津职业技术师范大学》,2012年9月第22卷第3期,天津职业技术师范大学职业教育学院,彭琳、王昊、刘智、罗骁、咸桂彩)