自考公共英语考试大纲的构念效度研究
摘要:本文以测试的科学性为指导,从语言观、阅读理解题型、词表、测试后效等角度,解析“英语(一)”和“英语(二)”考纲的构念效度。现行的考纲具有语言观陈旧、构念效度低下等科学前语言测试特征,对目标能力全部行为的描述和词汇习得标准的设定表现出一定程度的主观性和随意性,已不适应时代的发展。本文从发挥国家标准的作用、重新定位培养模式、引入全新的考试大纲、建立全新的课程体系、全面改革测试方法和手段等五个方面,探讨涉及测试后效的原则问题,建议适时改革自考公共英语课程。
一、引言。
高等教育自学考试是个人自学、社会助学和国家考试相结合的高等教育形式。自从1981年开始在京、津、沪试点,特别是1988年国务院正式颁布《高等教育自学考试暂行条例》、1999年《高等教育法》正式实施以来,自学考试经过不断的探索、改革和发展,已成为“中国特色社会主义现代教育制度的重要组成部分”和“我国终身教育建设、实现学习型社会的重要形式”。
在新一轮战略发展中,必须大力推进改革,积极鼓励创新,坚持科学发展,不断增强自学考试社会适应性,在日渐形成的终身学习社会中,继续发挥其不可替代的作用。在自学考试科学发展过程中,破解难题的关键仍然是质量。“质量是自学考试的生命线,没有了质量和信誉,自学考试制度也就失去了存在的基础”。
自考公共基础课程“英语(一)”和“英语(二)”,涉及面广,考试的反拨效应强,对于考生英语学习的目的、方法等产生直接影响。在科学技术日新月异、教育改革不断深化、教育质量日益提高的今天,十多年前编写的考纲和教材在形式和内容上不可避免地凸现出与时代不相适应的问题。
鉴于自学考试制度的特性,考纲是编写教材、课程命题的依据,也是个人自学、社会助学的依据,既行教学大纲之实,统领课程定位、培养目标、教材编写、教学实施,又司考试大纲之职,掌控考试性质、考试目标、考试范围、考试命题,可以毫不夸张地说,考纲是课程、考试的中枢,是自学考试质量的支柱。
“英语(一)”和“英语(二)”考纲所凸现出的与当今社会不相适应的问题表现在教学内容陈旧和构念效度的低下,根源是构成两份考纲理论基础的语言观在十年后的今天尤显过时。
诚然,对教学内容陈旧与否的判断以社会发展程度和人类认知水平为参照,具有相对性。以十年前的社会发展程度和人类认知水平为参照标准,“英语(一)”和“英语(二)”教材内容也许具有一定的新颖性,但是十年后的今天其新颖性已随时光的流逝而褪去,“关于语言、广告、记忆、月球、钻石、货币、保险、烟雾等事物的入门介绍性……内容已很难激发起当今学生的学习兴趣”,这是事物发展的客观规律,不以人的意志而转移。相反,假如其新颖性能延续至今,那么只能证明社会发展的停滞和人类认知水平的低下。大凡优秀教材平均每三年全面更新一次内容,以确保其与社会发展程度和人类认知水平相适应。因此,“英语(一)”和“英语(二)”的教材出版至今已十年有余,仍未经修订,且不论支撑其编写思想的教学理念蕴涵多大程度的科学性,仅就其内容而言,已不适应当今学习者的需求。
更为重要的是,构成“英语(一)”和“英语(二)”考纲理论基础的语言观不但不适应当今语言教学和语言测试的发展趋势,而且在一定程度上束缚或阻碍相关课程教学目标的最终实现以及教育功能的正常发挥。
二、测试的科学性。
对于测试、尤其是语言测试,质量是永恒的主题,而把握质量、提高质量的切入点是科学,是测试的科学。学习测试的科学,实践测试的理论,尊重测试的规律,探索测试的方法,创新测试的道路,从而实现科学的测试。
Bachman认为,测试是一种测量学工具,用来刺激应试者某种行为样本,并据此推断其某些特质。李筱菊指出,语言测试是对一组言语行为进行测量,这组行为是表征目标能力的全部行为的一个抽样。测试的结果,是为了可以对目标能力作出推论。
测试,归根结底是为了使用。能够获取有效行为样本且成功推断目标能力的测试就是有用的测试,有用的测试就是科学的测试。测试的实用性(usefulness)亦即科学性,体现在测试质量的六个指标:信度(reliability),构念效度(亦称结构效度、理念效度,construct validity),真实性(authenticity),互动性(interactiveness),测试后效(impact)和可行性(practicality)。
一项测试即使足以反映考什么、怎么考、为什么这样考,也不能证明考这些、这样考是有用的。换言之,一项测试即使信度和效度均令人满意,也未必是一项科学的测试,因为信度和效度只反映测试和考纲之间的关系,并不反映测试与实际的关系,或考纲与实际关系这个涉及测试质量的根本问题。触及这个根本问题的是构念效度。以构念效度评价一项测试,是测试学发展过程中的一大理论突破。语言测试中的构念,是对一种能力的具体定义,这种能力为一项测试或测试任务奠定基础,也为解释由此获得的分数奠定基础。构念效度是一种程度标准,即考试分数可以在多大程度上反映意欲测量的能力或构念。简言之,构念效度就是一项测试的语言观的效度,就是该项测试的考纲的效度。
测试的科学性首先体现在构念效度上。对语言测试来说,不同的语言观不但决定考什么,而且决定怎么考,而这两者直接关系到语言测试的信度和效度。这是开发一个语言测试项目在设计阶段首先要解决的问题。
测试的科学性也体现在语言测试的内容规范(test specification)的制定过程中。语言测试的内容规范包括诸多因素,如测试的目的、性质、内容、试卷构成等。语言测试所涉及的语言变量、交际功能、情景、交际活动等不能凭空臆断,必须通过需求分析(needs analysis)来确定。测试的科学性还体现在语言测试项目的其他阶段,如实施、命题、阅卷、成绩报告、考后研究等。
笔者以为:构念效度和内容规范直接影响语言测试的实用性,不仅为测试的性质和目标定位(决定考什么和怎么考,回答为什么这样考),而且是检验语言测试质量的重要参照依据(是否考了既定内容,测试结果与测试目标是否相关、指向是否完全一致,测试是否对教与学发挥积极推进作用)。构念效度的重要性更体现在对测试指导思想的检验上、对考纲的评价上(该测试是否有用)。
鉴于“英语(一)”和“英语(二)”考纲完全同质,本文以“英语(二)”为例,从考纲的语言观、阅读理解题型、考纲词表、测试后效等角度,解析两份考纲的构念效度。
语言测试与语言教学相互作用,紧密相连。伴随着一种语言教学理论的兴起,必然会出现一种相应的语言测试理论;同样,语言测试理论的发展也促进语言教学理论的创新。
综观语言测试发展历史,Spolsky、李筱菊等提出语言测试三代体系说。第一代体系即传统测试(traditional testing),亦称科学前语言测试(pre—scientific testing),把语言看作一门知识,测试语言点,采用拼写、词法变位、条件翻译等记忆性试题和造句、翻译、作文等应用性试题。记忆性试题分离处理考点,没有语境(上下文)或情景(非语言环境);应用性试题有语境,有时也有情景,但缺乏真实性。试题主要围绕语言形式,以语码为焦点。第二代体系即现代测试(modern testing),亦称心理计量结构主义测试(psychometric—structuralist testing),属结构主义体系,把语言看作一套形式结构和符号系统,测试操作这套形式系统的技能(skills)或对刺激作出正确反应的语言习惯,采用语法填空、句子填空、句子辨错等试题,以及多项选择题型(MC题型,multiple—choice test item format)和是非题型(T/F题型,true—and—false test item format),主要题型是MC题型和语法填空等试题的结合。强调四项技能分离处理,首倡离散项目测试(discrete—point test)。试题缺乏情景和语境或真实语境,围绕语言形式,以语码为焦点。第三代体系即后现代测试(post—modern testing),亦称心理语言学—社会语言学测试(psycholinguistic— sociolinguistic testing)或交际语言测试(communicative language testing),以交际能力为语言的内涵,测试交际行为(communicative activities),采用做事型试题,综合处理四项技能和考点,强调真实性,以信息为焦点。
基于语言测试三代体系说,参照李筱菊模型分析英语(二)试题,鉴定其语言观所属体系。英语(二)试题八种题型:单词汉译英、填写语法形式、英译汉、汉译英、结构及文字表达、错误识别、完形填空、阅读理解。
从试题属性来看,六种题型(占75%)分离处理语言技能和考点;两种题型(占25%)综合处理语言技能和考点。七种题型(占87.5%)以单词或单句为语境;以短文或语篇为语境的一种题型(占12.5%)。七种题型(占87.5%)不基于情景,测试的语言缺乏真实性;一种题型(占12.5%)基于情景,测试的语言具一定的真实性。六种题型(占75%)考查语言形式,以语码为纲;一种题型(占12.5%)以信息为纲;一种题型(占12.5%)兼有语码和信息形式。分析结果:约80%的题型具有第一代体系即传统测试的特征。
从测试内容的决定来看,八种题型均以语言点为纲,具有第一代体系即传统测试的特征。
虽然四种题型(占50%)形式上接近第二代体系即现代测试,但是按实质定性,这些题型只起点缀作用。
2.阅读理解题型。
阅读理解题型是分析“英语(二)” 考纲构念效度的重要观察点。首先,阅读理解测试学习者输入性技能的综合运用,在语言测试中具典型意义。其次,《英语(二)自学考试大纲》中课程目标第一项就是培养“较好的阅读能力”,阅读理解在“英语(二)”考试中具典型意义。再者,“英语(二)”考试基本属于标准参照考试(criterion—referenced test),考纲中与阅读相关的内容则可认定为目标能力全部行为的描述,这种描述的完整性和清晰度是考纲构念效度的佐证。
同时,在从阅读理解题型角度审视“英语(二)”考纲构念效度过程中,引入对比分析变量——PETS3考试,以提高分析结果的效度。“英语(二)”考试和PETS3考试具可比性,因为,无论是PETS考试大纲的说明,还是各地自考的规定,都表明PETS3考试可替代“英语(二)”考试。更为重要的是,“PETS的测试技术达到了世界先进水平”,其“多级别标准的系统描述处于世界先进行列”。
以两项考试的阅读理解作对比分析。
“英语(二)”:阅读3段难度相当于指定教材后半部分课文的一般性材料,语言技能涉及:词和短语的意义、句子表达的内容与内容之间的联系、文章主题思想和大意、句子和文章的内在含意及推理、文章作者的态度。未规定阅读量,使用多项选择题型。
PETS3:题材按照“交际话题表”19项内容;考查考生理解书面英语的能力,体裁为不同类型的文字材料,包括私人和正式信件、传单、一般书刊、杂志上的文章,以及一般性的技术说明和产品介绍;难度按照“级别标准”3项5条;语言技能涉及:理解主旨要义,理解文中具体信息,根据上下文推测生词词义,进行有关的判断、推理和引申,理解文中的概念性含义,理解文章的结构及单句之间、段落之间的关系,理解作者的意图、观点或态度,区分观点、论点和论据。分为A节3篇文章(每篇约350词),测试获取总体与特定信息的能力,采用多项选择题型;B节1篇文章(约350词),测试理解主旨要义的能力,采用搭配题型。
“英语(二)”考纲对目标能力全部行为的描述不完整、不清晰,阅读语篇题材要求缺失,体裁要求言之无物,难度要求模糊不清,阅读量要求形同虚设,题型设置单一,忽视微技能测试的具体要求,表现出一定程度的主观性和随意性,无法佐证“较好的阅读能力”是课程的第一目标,给人以现代测试题型作点缀的印象。
考纲词表的编制和词汇习得标准的设定与测试的构念效度高相关,反映出科学前测试与现代测试、后现代测试的区别。
“英语(二)”考纲词表与PETS3考纲词表相重合率为81.6%,两项考试可比。在18.4%不重合的“英语(二)”考纲词表部分,其词汇的词频均相对较低。在比较研究中,笔者注意到:“英语(二)” 考纲词表没有收录916个PETS3词汇,其中167个属PETS2词汇。结果表明:“英语(二)”考纲词表高词频的基础词汇收录不全,低词频非常用词汇越级收录,所设定的词汇习得标准缺乏应有的基础词汇支撑,级别层次模糊,难度鉴定不具可操作性。“英语(二)”考纲没有就词表编制和词汇习得作具体说明,表现出一定程度的主观性和随意性,具有第一代测试体系的特征,这对于标准参照考试而言,无疑是构念效度的一大缺陷。反观PETS3考纲,词表编制原则和词汇习得标准清晰明了,“选择第三级词表时除参考了一些同层次的词表外,还考虑了该级别语言的功能性使用,这对于考生将要或已经从事的一些工作是必需的。此外,考虑到交际的需要,考生应自行掌握涉及个人好恶、生活习惯、宗教信仰以及本人工作或专业等方面的特殊词汇”,体现了后现代测试体系的语言观。
针对测试、特别是社会化测试所可能产生的正面或负面影响以及可能引发的积极或消极反应,学界区分测试后效(impact)和反拨效应(washback或back— wash),认为测试后效主要指测试对社会及教育体系的影响,而反拨效应限于测试对教与学的影响。本文采用Bachman and Palmer观点,测试的后效作用表现于两个层次、三个方面。测试在两个层次上具有后效作用,即微观层次(指受到某项测试使用影响的个人)和宏观层次(指社会或教育体系)。测试的后效作用可从三个方面观察,反拨效应;对应试者、教师等个人的后效作用;对社会和教育体系的后效作用。测试的后效研究应采用定性和定量分析相结合的多元化方法,是一项复杂的工程。
仅就涉及“英语(一)”和“英语(二)” 后效的原则问题,笔者认为:。
(1)两门课程应切实发挥国家标准的作用。“自学考试能够发展,一直受到社会的欢迎,就是因为自考的社会信誉比较好。我们不能采取降低标准和难度的方法来吸引生源,要珍惜自学考试多年来形成的这个品牌”。
自考的标准即国家标准,两门课程的标准也是一种国家标准。既然是国家标准,就应该保持相应的科学性、权威性、严肃性,而两份考纲在这方面有欠缺。
(2)两门课程应重新定位培养模式。2002年全国考委五届二次会议为自学考试培养模式进行新的定位,“培养目标大体上同相应的普通高校、高等职业院校开设的相同专业一致”。
同为国家标准的《大学英语课程教学要求》对普通高校非英语专业本科英语课程的教学性质和目标的定位是:“大学英语教学是高等教育的一个有机组成部分,大学英语课程是大学生的一门必修的基础课程。大学英语是以外语教学理论为指导,以英语语言知识与应用技能、跨文化交际和学习策略为主要内容,并集多种教学模式和教学手段为一体的教学体系。大学英语的教学目标是培养学生的英语综合应用能力,特别是听说能力,使他们在今后学习、工作和社会交往中能用英语有效地进行交际,同时增强其自主学习能力,提高综合文化素养,以适应我国社会发展和国际交流的需要。”。
“英语(一)”和“英语(二)”考纲对本课程的教学性质和目标的定位是:“使学习者能比较熟练地掌握英语基础知识和语言技能,做到具有较好的阅读能力、一定的英译汉能力和初步的听、说、写及译的能力,为获取专业所需的信息及进一步提高英语水平打下扎实的基础。”。