[句子加工的脑成像研究] 脑功能成像
摘要 近年来句子加工的脑成像研究大量涌现,并集中于揭示句子语义与语法加工的神经机制以及之间的联系。
文章首先对这些研究所采用的范式加以分析与比较,从而将句子加工脑成像研究的研究思路与常用范式进行了归纳与总结。
其次,讨论了语义加工与语法加工的神经机制,并根据现有的研究结果,对句子语义与语法两个成分在认知加工与神经机制上的共性与特性做出推论。
最后,从语言的多样性以及影响句子加工的因素两个角度,对以后的句子加工脑成像研究做了展望。
分类号 B845.1 1 前言 句子加工的脑机制研究日渐成为语言研究中的一个焦点。
与句水平相比,词水平的研究结果不能使我们全面地了解整个阅读过程,而篇章加工要求被试长时间的阅读,这在一定程度上限制了其在功能磁共振成像(functional magnetic resonance imaging,简称fMRI)研究中的探讨。
对于句子的脑机制研究,不仅能使我们更好地理解读者在加工书面或口头语言传递信息时的神经机制,也能更深层次地揭示语言或言语加工的进程及内部各加工过程之间的关系。
本文对近年来句子语义、句法的脑成像研究作一综述与分析,以期促进此方面的研究。
2 句子加工的脑成像研究范式 句子理解过程所包含的两种最基本的加工是语义分析与句法分析。
读者进行语义分析时,要了解句中词的意义,再通过对整个句中词的搭配来确定整句话的含义。
句法分析则是读者将句子切分为构成成分,根据这些构成成分的相互关系建立起句子底层结构中的命题[1]。
2.1语义分析的脑成像研究范式 影响句子语义加工的主要因素是词语的适合程度,因而,语义加工脑机制研究最典型的实验范式即“语义违反句阅读”。
若词义不符合整句的语义,句子的加工难度会提高,读者则需要更多的认知资源来加工与整合词义。
与词义符合句义的条件相比较,词义违反条件所激活的额外的脑区则被认为是负责语义分析的脑区。
对应这一实验范式的任务主要有两种,最常见的是让被试直接阅读已经安排好的实验材料,实验材料为包含两种或两种以上水平的句子:语义正常句、语义违反句,语义违反的程度可以加以变化,形成高语义违反、低语义违反等多个水平,然后将多个水平的句子加工的脑区激活范围及程度加以比较。
另一种任务是补句,向被试呈现一些不完整的句子,让被试根据实验要求补充语义符合或不符合的词,考察被试在自主调节词的符合程度时的脑区激活情况。
在Baumgaertner等人的研究中[2],就是让被试直接阅读语义违反句,要求被试在读完句子的最后一词后快速地做词汇判断。
研究者利用句子结尾词的替换来变化句义整合的难度,并将词在句子中的符合程度分为四种水平:(1)符合预期句(如:The pilot flies…最后一个词为the plane);(2)不符合预期但符合语法句,最后一词为the kite;(3)句子的结尾词更大程度地违反了动词后宾语的选词原则,最后一词为the book;(4)句子的结尾词为假词,如the foop。
结果发现,前三种条件比假词条件更强地激活了左侧角回与颞中回的后部,说明被试读前三种句子时,尽管存在着词汇性质上的差异,但包含在句子中的词刺激都会诱发人们进行词水平以上的语义整合加工。
与符合预期句相比,第二、三种句子更易激活左侧额下回及左侧颞叶的中后部,可见,当加工机制存在差异时,被试对这两种句子的语义整合要付出更多的努力。
Arcuri[3]、Kiehl[4]等的研究也得出了类似结果,这些脑区在语义违反程度高的条件下更易激活。
Nathaniel的实验[5]则采用补句任务,让被试阅读省略了一个词的句子,然后要求其给出一个填充词。
在条件A中,被试要给出一个符合句义的词;条件B中,给出一个不符合句义的词。
同时,句子的文本限制水平也系统地由低到高的变化。
分析所有的限制水平条件,发现不符合词的条件,左侧的背侧前额叶皮层显著激活,而对于符合词条件,则表现于前额脑区底部的中央。
另一方面,高文本限制条件下,右侧颞叶中部激活显著,而低文本限制条件显著激活的为左侧的背侧前额叶皮层。
尽管Nathaniel的研究结果与Baumgaertner的不同,但也证实了“脑区激活可能随着语义违反程度不同而不同”的观点。
同时,文本限制水平也是影响语义加工难度的一个重要因素,并在脑区上有特定表现。
2.2句法分析的脑成像研究范式 Suzuki认为[6],读者在正常的阅读过程中进行的是内隐的语法加工,而在完成某种语法任务时才是一种外显的语法加工。
一类是内隐的句法分析研究范式,让被试阅读结构复杂程度不同的句子,将不同复杂程度句子加工的脑区激活进行比较;另一类则是外显的句法分析研究范式,包含语法判断与组词成句范式,将外显的句法加工与内隐的句法加工比较,来说明句法分析的神经机制。
另外,人工语法的研究采用学习―测验的实验范式,测验阶段要求被试进行语法判断,因而,也在外显的句法分析研究范式部分加以介绍。
2.2.1内隐的句法分析脑成像研究范式 Peelle等让被试阅读两种复杂程度不同的句子[7]:(1)关系从句所修饰的主句的主语在关系从句中也做主语,例如:“Men that assist women are helpful”;(2)关系从句所修饰的主句的主语在关系从句中充当宾语,例如:“Women that men assist are helpful”,可见,类型2的句子比类型1的句子语法结构更为复杂。
Constable的实验[8]所采用的句子类型与Peelle的相同,与语法结构简单句相比,复杂句不仅激活了左侧的额下回,并且激活了颞中回、颞上回以及角回。
Fumitaka利用这一范式探讨了句子理解过程中的“句法启动”效应[9]。
因为脑成像研究可以将血氧变化量做为因变量指标,那么如果被试连续阅读具有相同语法结构的句子时,脑区的激活程度降低,就说明存在句法启动效应。
结果证实了他的假设,当被试读语法结构相似的句子与读语法结构不相似的句子相比,左侧颞叶前部的激活程度会降低,同时阅读时间减少。
2.2.2外显的句法分析脑成像研究范式 Suzuki的研究中[6],要求被试对听觉呈现的句子进行以下不同的加工:(1)判断句子语法是否合理;(2)判断句子语义是否合理;(3)判断句子中名词短语或动词的重音是否正确(语音判断);(4)判断句子中由名词短语到动词的语调是否合理。
基线任务是判断一对假词的重音形式是否一致(音调判断)。
研究者认为,只有语法判断任务包含外显的语法加工,而语义与语音判断包含内隐的语法加工与外显的语义、语音加工,音调判断则不需要外显的语言知识,但包含自动化的、内隐的语法、语义与语音加工。
将语法判断条件与其他任务条件进行关联分析,减法之后所表现出的激活模式即属于外显语法加工的神经机制。
研究者将语法—(语义+语音+音调),发现左侧额下回(BA44、BA45)的激活,这意味着左侧额下回的激活是由于外显的语法加工而不是内隐的语法加工所引起。
另外,正常句的外显语法加工对左侧额下回的激活强于异常句的外显语法加工,可见,这一脑区的激活对于正常句与异常句的语法判断是有选择性的。
这些结果表明:在语法领域内,外显的信息加工关键在于左侧额下回,并且它的机能是与其它脑区相分离的。
除了语法判断任务,按语法规则组词成句也是一种外显的语法加工。
Hallera在实验中[11]向实验组被试视觉呈现三个词(主语、动词与宾语),要求被试重排词的顺序,将其整合为句子并大声说出(如刺激为throw、ball、child,期待反应为The child throws the ball)。
一个控制组的任务是词汇阅读(读相同的刺激但不需组词成句。
如刺激为throw ball child,期待反应为throw ball child);另一个控制组的任务是读完整的句子(如刺激为The child throws the ball,期待反应为The child throws the ball)。
研究者发现:实验者与两个控制组进行比较,主要激活了左侧额下回、额中回、顶叶上部与右侧脑岛。
BA45激活程度强于BA44,说明BA45参与了语法编码,这与其他脑成像研究及脑损伤数据相一致[12,13]。
Reber认为[14]人们在自然语言的获得过程中,会对语言的组合规则自动地进行提取加工,从而内隐地习得语法规则。
从这一角度讲,对于自然语言的语法与实验中采用的人工语法,人们的习得过程是相类似的。
因而,人工语法的脑成像研究,有助于我们深入地理解人们是如何获得自然语言中复杂的语法规则。
Opitz等利用BROCANTO人工语法,造出由5~8个词组成的、结构为“主语―动词―[宾语]”的句子[15]。
在实验的学习阶段,被试看计算机屏幕上所呈现的、符合人工语法的句子并努力掌握句子的语法规则;测验阶段的材料中,符合与不符合人工语法的句子各占50%,要求被试对这些句子进行语法正误的判断,同时对于被试的正确或错误的反应予以反馈。
结果发现:人工语法学习所激活的脑区主要在左侧额下回与左侧枕叶中回,且这些脑区随着被试语法判断熟练程度的提高,激活程度显著增强。
Petersson[16],Forkstam[17],Skosnik[18],Seger[19]等研究者利用符合Reber人工语法或其变式的字符串作为实验材料,也证实了人工语法学习会激活左侧额下回与左侧枕叶。
另外,Petersson指出[16],人们掌握与运用人工语法的神经机制与人们对自然语法加工的神经机制[20],在很大程度上是一致的,都集中于BA45与BA44。
3 句子加工的神经机制 如上所述,句子理解过程包含语义分析与句法分析,那么这两种加工所对应的神经机制是如何呢?另外,行为学实验不能有效地证明语义分析与句法分析是各自独立进行还是彼此之间具有相互作用[21,22],那么,脑成像研究能给出何种解释呢? 3.1语义分析 语义分析激活的脑区主要集中于左侧额下回、颞叶的中下皮层,右侧的颞上回、颞中回[2~5]。
如果句子中词的语义违反程度增加,运动皮层和左侧角回也会被激活[2,4,23,24]。
Vigneau对近十年关于语言脑机制的研究报告进行了元分析(meta—analysis)[25],从1992至2004年的260篇文献中筛选出129篇包含语音、语义以及语法加工任务的研究报告,从而对语音、语义与语法加工的对应脑区做出精细定位。
研究者经过元分析发现,句子语义与语法加工激活的两个主要脑区为左侧额叶与颞叶:额叶包括额叶第三脑回F3的基部pars opercularis的背侧(dorsal part of the pars opercularis,F3opd)与第三脑回F3的盖部的腹侧(ventral part of its pars triangularis,F3tv),Vigneau认为,由于额叶负责语义,语法以及记忆等多种认知加工,因而很难分离出单独负责语义加工或语法加工的脑区;颞叶脑区包括颞极,颞中回的外侧与中侧,颞上回的上侧,同时,颞叶的激活簇还包括颞上回的后侧以及颞中回的后侧,这两个激活簇与颞叶上的其它语言区的空间距离稍远,并且颞上回的后侧在语法加工任务中也会激活。
3.2句法分析 句法分析激活的脑区主要体现在大脑左侧,左侧额下回、Broca区、颞上回前部,颞叶后外侧、前扣带回皮层以及双侧顶叶中央与下部脑区[6~13,24,26,27]。
Indefrey对探讨语法加工神经机制的28篇研究报告(16篇fMRI研究,12篇PET研究)做了元分析[28],发现在28个脑成像实验中,左侧额下回的后侧(BA44,BA45)与颞上回的后侧都被激活,而额叶的其它脑区是否激活则取决于实验中的基线水平,若以简单的语法加工任务做为基线(高控制条件),右侧额下回可以激活,若以无语法加工的任务做为基线(低控制条件),左侧额中回的后侧可以激活。
此外,双侧颞叶中上回,左侧颞中回在语法加工任务中也被激活,但对于知觉通道具有选择性,听觉的句子语法加工与视觉的句子语法加工相比,前者更易于激活这些脑区。
3.3语义分析与句法分析的关系 3.3.1语义分析与句法分析激活脑区的差异性 Ni等人的结果[29]表明语义加工和语法加工激活了相对独立的一些脑区。
语法错误句使Broca区及附近脑区激活显著增强;语义错误句激活了Wernicke′s area及其前部和后部的几个区域,这些结果表明一些分离的脑区尝试加工不同类型的错误句。
Friederici发现[30],语义或语法违反句与正常句相比,主要是激活了颞叶上部的大面积脑区。
语义加工表现为双侧颞上回的中部与脑岛的激活,句法加工诱发左侧颞上回前部、左侧与Broca区相邻的额盖的后部(posterior frontal operculum)以及左侧神经中枢的内侧的激活。
两种违反条件相比较:句法较语义更强地激活左侧基底神经节,语义较句法更强地激活了双侧颞上回的中部。
这说明句法与语义两种加工都被额―颞叶神经回路所支持,但回路中的不同脑区又是专门负责句法或语义各自的加工。
Kuperberg[31],Roder[32]等的实验结果也支持这一点。
3.3.2语义分析与句法分析激活脑区的共同性 Keller[33]采用Just[34]的范式,利用句子中词语的词频和句法复杂性来变化语义与句法两个变量,考察句子理解过程中语义分析与句法分析之间的关系。
句法结构有两个水平,一种为包含两个并列动词的句子,如: The writer attacked the king and admitted the mistake at the meeting;另一种为包含宾语关系从句的句子,如:The writer that the king attacked admitted the mistake at the meeting。
语义加工的难度由句子中词的词频来调节,如:The pundit that the regent attacked admitted the gaffe at the conclave。
此句中的pundit,regent,gaffe与conclave都为低频词,而上面两个句子中相对应的词都为高频词。
结果发现:(1)语义与语法因素不仅单独地影响个别脑区,而且共同影响左侧大脑皮层网络的激活,两者的同时加工使许多协作的脑区产生瀑布效应(cascade of effects),例如 Broca区能够产生抽象的句法结构表征,这种表征随后被传输到其它脑区,并与其它脑区的语义信息加工等各种语言加工协同合作;(2)语义与语法因素通常是交互决定每一个受影响脑区的激活程度,这表明语言的不同水平的加工可能会利用皮层资源的同一个基础结构。
可见,句子理解中的不同加工会引起多个脑区的活动,而一些脑区又负责多种加工过程。
这意味着在语言网络中,每一个脑区都具有多种特殊的语言功能,且这些功能之间相互关联,因而保证这些脑区能够进行大范围的协作加工。
Kuperberg的另一个研究[35]更进一步地揭示了语义分析与句法分析的神经机制的关系。
研究者让被试对句子进行合理性判断,结果发现,相对于正常句条件,在语义违反句条件中,左侧颞叶与额下皮层激活增强,右侧顶叶中部皮层激活减弱;而在句法违反句条件中,双侧的顶叶中部脑区激活增强,左侧颞叶与额下皮层激活减弱。
这说明,两种加工所对应的重叠的脑区恰巧各自独立地调节语义与句法加工,语义与句法信息能被相同的神经系统加工但加工方式存在差异。
这些脑成像研究的结果给了我们什么启示呢? 首先,语义分析与句法分析的神经基础既有关联又有差异,两种加工各有其独立的对应脑区,但这些脑区又有很大的重叠;其次,在神经层面上,语义分析与句法分析两种加工交互决定一些受影响脑区的激活程度,据此可知,这两种加工是彼此相互作用的,而哪种加工占优势则取决于句子的语义或句法的合理性程度。
4 结语 总体而言,目前研究者对句子加工的脑机制进行了大量研究,这些研究借助经典的句子加工认知实验研究范式,结合功能成像技术,探索了句子语义加工、句法加工以及紧密相关的工作记忆的脑机制,说明额叶、颞叶、顶叶以及扣带回与角回等脑区,都会影响句子加工。
但是,由于研究范式与研究手段的局限,以及人脑神经网络的复杂性,很多理论与假设都尚未定论,因而,今后的研究方向既要关注于验证先前的研究结果,又要扩展研究的范围。
一方面,不同文化背景下形成的语言之间的差异,不仅存在于词水平的词形构成与发音规律,也存在于句水平的语法结构及其语义表达方式。
因而从语言多样性的角度出发,来探讨句子加工的认知与神经机制具有重要意义。
尤其汉语与英语在句子语法结构上的较大差异,使得汉语句子加工的研究意义尤为突显。
汉语句子加工的脑成像研究,对于我们揭示句子语法与语义认知加工及其神经机制之间的关系,会提供更多的启示。
另一方面,句子的脑成像研究主要集中于语义与句法加工,而否定句与歧义句等类型的句子加工是否与正常句及语义或句法违反句具有相同的神经机制?语音、句义形象性以及记忆等因素对句子加工具有很大影响,其神经机制又是如何?尽管这些方面已经做了一些研究[36~38],但尚未得出确定的结论,需要更多的实验证据支持,因而,在研究广度上的扩展也是句子加工脑成像研究的未来方向。
参考文献 1 张必隐. 阅读心理学. 修订版. 北京: 北京师范大学出版社, 2002 2 Baumgaertner A, Weiller C, Buchel C. Event—related fMRI reveals cortical sites involved in contextual sentence integration. NeuroImage, 2002, 16(3pt1): 736~745 3 Arcuri S M, Jr E A, Kircher T T, et al. Neural correlates of the semantic processing of sentences: Effects of cloze probability in an Event—related fMRI Study. NeuroImage, 2000, 11, 5 4 Kiehl K A, Laurens K R, Liddle P F. Reading anomalous sentences: An event—related fMRI study of semantic processing. NeuroImage, 2002, 17(2): 842~850 5 Nathaniel—James D A, Frith C D. The role of the dorsolateral prefrontal cortex: Evidence from the effects of contextual constraint in a sentence completion task. NeuroImage, 2002, 16(4): 1094~1102 6 Suzuki K, Sakai K L. An Event—related fMRI study of explicit syntactic processing of normal/anormal sentences in contrast to implicit syntactic processing. Cerebral Cortex, 2003, 13(5): 517~526 7 Peelle J E, McMillan C, Moore P, et al. Dissociable patterns of brain activity during comprehension of rapid and syntactically complex speech: Evidence from fMRI. Brain and Language, 2004, 91(3): 315~325 8 Constable R T, Pugh K R, Berroya E, et al. Sentence complexity and input modality effects in sentence comprehension: A fMRI study. NeuroImage, 2004, 22(1): 11~21 9 Homae F, Hashimoto R, Nakajima K, et al. From perception to sentence comprehension: The convergence of auditory and visual information of language in the left inferior frontal cortex. NeuroImage, 2002, 16(4): 883~900 10 Meyer M, Angela D, Friederici D, et al. Neurocognition of auditory sentence comprehension: Event related fMRI reveals sensitivity to syntactic violations and task demands. Cognitive Brain Research, 2000, 9(1): 19~33 11 Hallera S, Radueb E W, Erbc M, et al. Overt sentence production in event—related fMRI . Neuropsychologia, 2005, 43(5): 807~814 12 Indefrey P, Hagoort P, Herzog H, et al. Syntactic processing in left prefrontal cortex is independent of lexical meaning. NeuroImage, 2001, 14(3): 546~555 13 Indefrey P, Brown C M, Hellwig F, et al. A neural correlate of syntactic encoding during speech production. Proceedings of the National Academy of Sciences of the United States of America, 2001, 98(10): 5933~5936 14 Reber A S, Implicit learning of artificial grammars. Journal of Verbal Learning and Verbal Behavior. 1967, 6(2): 317~327 15 Opitz B, Friederici A D. Interactions of the hippocampal system and the prefrontal cortex in learning language—like rules. NeuroImage, 2003, 19(4): 1730~1737 16 Peterson K M, Forkstam C, Ingvar M. Artificial syntactic violations activate Broca′s region. Cognitive Science, 2004, 28(3): 383~407 17 Forkstam C, Peterson K M. Syntactic classification of acquired structural regularities. XXVII Annual Conference of the Cognitive Science Society. Italy. 2005 18 Skosnik P D, Mirza F, Gitelman D R, et al. Neural correlates of artificial grammar learning. NeuroImage, 2002, 17(3): 1306~1314 19 Seger C A, Prabhakaran V, Poldrack R, et al. Neuronal activity differs between explicit and implicit learning of artificial grammar strings: A fMRI study. Psychobiology, 2000, 28(3): 283~292 20 Bookheimer S. Functional MRI of language: New approaches to understanding the cortical organization of semantic processing. Annual Review of Neuroscience, 2002, 25, 151~188 21 Just M A, Carpenter P A. The psychology of reading and language comprehension. Allyn and Bacon, Inc. 1987 22 Rayner K, Carlson M, Frazier L. The interaction of syntax and semantics during sentence processing: Eye movements in the analysis of semantically biased sentences. Journal of Verbal Learning and Verbal Behavior, 1983, 22, 358~374 23 Grossman M, Cooke A, DeVita C, et al. Age—related changes in working memory during sentence comprehension: A fMRI study. NeuroImage. 2002, 15(2): 302~317 24 Humphries C, Binder J R, Medler D A, et al. Syntactic and semantic modulation of neural activity during auditory sentence comprehension. Journal of Cognitive Neuroscience, 2006, 18(4): 665~679 25 Vigneau M, Beaucousin V, Herve P Y, et al. Meta—analyzing left hemisphere language areas: Phonology, semantics, and sentence processing. NeuroImage, 2006, 30(4): 1414~1432 26 Cooke A, Grossman M, DeVita C, et al. Large—scale neural network for sentence processing. Brain and Language, 2006, 96(1): 14~36 27 Golestani N, Alario F X, Meriaux S, et al. Syntax production in bilinguals. Neuropsychologia. 2006, 44(7): 1029~1040 28 Indefrey, Peter. A meta—analysis of PET and fMRI experiments on syntactic parsing. NeuroImage, 2001, 13, 545 29 Ni W, Constable R T, Mencl W E, et al. An event—related neuroimaging study distinguishing form and content in sentence processing. Journal of Cognitive Neuroscience, 2000, 12(1): 120~133 30 Angela D, Friederici, Ruschemeyer S A, et al. The role of left inferior frontal and superior temporal cortex in sentence comprehension: Localizing syntactic and semantic processes. Cerebral Cortex, 2003, 13(2): 170~177 31 Kuperberg G R, McGuire P K, Bullmore E T, et al. Common and distinct neural substrates for pragmatic, semantic, and syntactic processing of spoken sentences: A fMRI study. Journal of Cognitive Neuroscience, 2000, 12(2): 321~341 32 Roder B, Stock O, Neville H, et al. Brain activation modulated by the comprehension of normal and pseudo—word sentences of different processing demands: A functional magnetic resonance imaging study. NeuroImage, 2002, 15(4): 1003~1014 33 Keller T A, Carpenter P A, Just M A. The neural bases of sentence comprehension: A fMRI examination of syntactic and lexical processing. Cerebral Cortex, 2001, 11(3): 223~237 34 Just M A, Carpenter P A, Keller T A, et al. Brain activation modulated by sentence comprehension. Science, 1996, 274(5284): 114~116 35 Kuperberg G R, Holcomb P J, Sitnikova T, et al. Distinct patterns of neural modulation during the processing of conceptual and syntactic anomalies. Journal of Cognitive Neuroscience, 2003, 15(2): 272~293 36 Just M A, Newman S D, Keller T A, et al. Imagery in sentence comprehension: A fMRI study. NeuroImage, 2004, 21(1): 112~124 37 Keller T A, Carpenter P A, Just M A. Brain imaging of tongue—twister sentence comprehension: Twisting the tongue and the brain. Brain and Language, 2003, 84(2): 189~203 38 Carpenter P A, Just M A, Keller T A, et al. Time course of fMRI—activation in language and spatial networks during sentence comprehension. NeuroImage, 1999, 10(2): 216~224。