多模态认知诗学研究*
——认知诗学研究的新进展
赵秀凤
（中国石油大学，北京，102249）
随着后现代思想对感性和身体的重新发现，以及新媒体数字技术的突飞猛进，感官文化尤其是视觉文化异军突起，把多模态语篇交际推至当下多学科研究的交叉口，成为学界的一个研究热点。不同学科学者站在不同角度对多模态语篇交际作过深入而富有启发的论述，但是从认知诗学角度对多模态文学的系统研究则是刚刚兴起。
基于视觉语法（Kress & van Leeuwen, 1996/2006）的多模态语篇分析侧重描述多模态的表征方式，阐述其社会符号功能，未能深入到多模态语篇背后，探究其思想根源和认知理据，容易导致多模态语篇研究因缺乏思想和认知维度而流于浮泛。在文学研究领域，虽然有相当数量的研究关注“网络文学、多媒体文学”等新型的文学样态，探究新兴文学样态对传统文学交流模式的挑战，但是鲜有研究从读者认知解读的角度提出系统的研究框架。在认知诗学领域虽然偶有论文论及多模态认知诗学的理念，但是，直至Alison Gibbons《多模态，认知和实验文学》（2012）的出版，尚无完整意义上的针对多模态文学语篇的认知诗学的系统研究。
多模态文学的兴起
“多模态文学”是一个比较宽泛的术语，涵盖多种文学样态。与传统文学形态相比，多模态文学具有某些共性特征。多模态文学的盛行与其产生、接受和传播的时代语境密不可分。
多模态文学的界定
参照“多模态”语篇的界定（Kress & van Leeuwen，2001；李战子，2003；杨信彰，2009；张德禄，2009；朱永生 2007等），“多模态文学”可以定义为“多种模态符号参与文学交流，协同作用共同创建文学意义和审美效果的文学作品”。从该定义可以看出，“多模态文学”是一个宽泛的文学样类名称，包含多种次类，如漫画小说、儿童图画小说、具象诗、超文本小说、赛博文学等。
最早的带有插图的文学经典作品可以追溯到Laurence Stern，Life and Opinions of Trisam Shandy，Gentleman（Gibbons, 2012: 1）。在文字独领风骚的文学长河中，图文类多模态文学一直被视为无法登入大雅之堂的非主流作品。然而，在世纪之交，即使在主流的出版界，也出现了一种新的出版趋势：即使供成年人阅读的小说中也越来越多地增加了印刷图形和插图（Gibbons, 2012: 1）。在数字媒体技术的迅猛发展和网络普及的促动下，除平面印刷类图文小说外，赛博文学、超文本小说、人机交互小说等数字小说（digital fiction）风起云涌，赢得了大批读者。
多模态文学的原型表征特征
尽管多模态文学的表征形式多样，各次类特征迥异，但是，相对传统的纯文字文学作品而言，多模态文学具有以下三个原型表征特征。
多模态符号的组构性(compositionality)：该类文学作品利用多种媒介符号的协同作用，充分调用读者的多感官交际和感知能力，诱发强烈的认知和情感反应。非语言符号被提升到与语言符号同等重要的地位，参与文学交流，成为文学交流图景中不可或缺的生力军。多种媒介符号精心拼接、叠置、组合，并运用转喻、隐喻和整合机制，创建文学意义，缔造艺术审美效果。如在平面印刷类多模态文学中，典型的多模态符号包括超常语篇布局和页面设计、变化多端的排印格式、色彩化文字和图像、具象诗般的文字具象、彰显文本物质性的各种手段、动画翻页、多语类的视觉混搭等等（Gibbons, 2012:2）。传统的文学作品往往只依赖读者的想象力，令读者在心理上想象性浸入（immersion）虚构的文学世界，感受故事内人物的喜怒哀乐。而多模态文学则往往会调用读者的多个感官，甚至会诱发读者的身体动作，令其真实地感受文学世界。
高度的“质料自觉”（self-consciousness of materiality）：彰显表征符号的物质性是所有多模态文学样类的典型特征。我们知道，任何符号都是由能指和所指构成的，“能指是中介物，它具有物质性，它的内质永远是质料性的”（汪民安， 2005:82）。语言在从声音符号转变为书面文字符号之后，其能指的物质性特征——如说话人的语气、语调、音高等听觉隐喻——被大大降低，加强了其抽象性和概括性特质。语言符号摆脱了物质性依赖，使读者更多地关注所指，语言文字似乎是透明的，读者凭借想象力，开启丰富的境域，投入到语言所塑造的指称世界中。与语言文字符号不同，图像等非语言符号能指用具体可感的媒介表现所指，表征一个与肉体的、可触知的和当下的世界有关的感性可知的世界（王泽庆，2013）。非语言符号彰显了身体表现力，与抽象的语言符号相比，具有高度的物质突显性。多模态符号所指本身被高度前景化，把读者的注意力吸引到媒介本身，使之感受到一种令人惊奇的感性美。例如，在几米的绘本《月亮忘记了》中，在众多暖色调彩页中，插入一整页（双页对开）幽暗的黑色，在对开的右侧页面正中央位置，放置着两行白色的俊秀文字：“他们在无意中相遇，却为幽暗的生命带来温柔美好的光亮”。在该语境中，黑色的页面、白色的文字、俊秀的楷体字形、文字被放置的中心位置、两行字中上短下长的横向排列本身都被赋予以感性特质，多模态符号给读者带来一种从未有过的视觉冲击力，致使读者不再只关注语言文字本身，而是不自觉地把黑色、字体、页面设置、文字等媒介符号与当前故事空间内的文学意义联想起来，在两者之间建立起一种隐喻映射关系，故事内孤独的男孩和跌落的月亮在幽暗的生命征程中相遇、相互慰藉所带来的温暖，不再仅仅停留在概念层面，对于读者，这种温暖会引发一种物理情绪反应——感同身受。概言之，在纯语言文字文本中，“意义一旦已经被解释出来，符号的必要性就被取消，就是《庄子》说的‘得意忘象，得鱼忘筌’”（赵毅衡, 2011：47）；与之不同，在图像等非语言符号表征的文本中，符号能指被赋予了一种超乎寻常的魔力，使接受者痴迷上能指本身（王泽庆, 2012）。
表征方式的非线性（non-linearity）：多模态符号的组构性为拓展表征空间创造了条件。摆脱了单一的文字符号的抽象性束缚，多模态符号的质感性特质使得它们在立体空间上的多重拼接、聚合成为可能，在赋予感知以意义的过程中，挑战读者基于线性文字所形成的阅读、理解和阐释常规——要求读者动用身体和心理两个维度上的自我，不断动态调整阅读路径，在不同层级的文本世界和话语世界之间频繁穿越。如具象诗，冲破从左到右、自上而下依次排列的传统诗歌套路，挖掘文字的构图功能，使之在多个方向上扩散排列，组构成特定的意象图形。例如，《设计诗》（朱赢椿，2011:60）中一首题为“距离”的诗，长短不一的16行诗行，如同太阳的光芒排列成半圆形状。读者必须转动书本的方向依次阅读每个诗句。文字构成的太阳图像极其像似于文字符号所表达的主题“春夏秋冬迥异的景致取决于与太阳的距离”，读者的阅读路径像似于围绕太阳转动的过程。很多后现代小说也充分发挥多模态符号的空间性，激活立体阅读策略。如在Mark Z. Danielewski 的小说House of Leaves (2000)第440-441页，文字自下而上，经过3个单行交错排列后，每两行一组垂直向上排列，形成一个天梯状。读者自下向上的阅读路径与文字所表述的主人公Navidson 攀爬梯子的动作过程相吻合。读者不但在心理上而且通过眼睛的移动浸入到虚拟故事世界，跟从担当文字主位的动态施事主体Navidson实施攀爬行为；此刻，攀爬的施事主体担任射体（trajector），文字自下而上排列而成的天梯则担当地标（landmark），静态的文字通过图形排列，构成了一幅动态的动作画面，为叙事世界增添了感知上的动感冲击力（Gibbons, 2012: 73）。多模态文学该非线性“超媒介性”（hyermediacy）（Bolter and Grusin, 1999) 特征使得多种表征行为异质共现，传递物质符号能指与抽象表征物之间的张力（Gibbons, 2012: 115）。
概言之，多模态文学利用多模态符号的非线性组构，挖掘创造立体表征空间，彰显符号能指的质料性层面，创造一种崭新的文学阅读体验——在真实和虚拟、身体和认知之间的界面上，本体接受和涉身体验文学交流。
多模态文学兴盛的时代文化语境
多模态文学的兴盛是时代的必然。数字媒体技术和网络技术为之提供了技术保障，后现代文化语境为之提供了兴盛的土壤。正如美国多模态小说家Steve Tomasula 所言，他的小说创作与二十一世纪的多媒介环境和高度视觉化的文化特征密不可分(Gibbons, 2012:87)。
一方面，数字传媒技术为摆脱语言文字线性的至酷，构建立体多线性叙事结构创造了条件，同时，数码技术使瞬间批量复制成为可能，助涨
了快餐式视觉文化的盛行。在“语言霸权”逐渐让位于“图像霸权”的后现代文化语境中，人们的感知经验模式和审美取向也日趋空间化和图像化。这一审美体验取向建立在“距离”之上的一系列传统文学理念如“模仿、想象、陌生化、修辞”发出了挑战，并在强大的数码技术的协助下愈演愈烈。如数字小说（包括交互小说、超文本小说等），依赖数字媒介及人机交互技术，以多维空间、动态的、声情并茂的姿态消解了传统印刷文本的物理时空间距（凌逾，2009:2），以极其逼真的姿态构筑虚拟故事世界。借助人际交互的动态定位功能，读者可以自由的选择、拆分、组构叙事顺序和路径，获得独特的阅读体验和审美情趣。在硬技术和软文化的共同催生下，追求能指化和感官刺激的多模态文学风起云涌也是在情理之中的。
另一方面，“去中心、去权威、去霸权”的后现代文化思潮（王岳川，1992；詹姆斯，2004）助长了传统文学的理想化交流模式的消解。后现代派文学创作者主张“迷宫式叙述、情节的非中心化、结构的开放性和动态性、文本之间的互文、戏仿、复制”（袁诠，2007:75）。基于对真实世界的非线性、交叉性和人们真实生活体验的立体性、复杂性的理解，后现代文学倾向于采用星座化、碎片化的方式，挖掘多种媒介符号的功能，表征无序、多元和跳跃等文化心理特征。多模态文学正是这种心理表征趋向的典型体现形态：色彩、线条、声响、剪辑、镜头等非语言媒介与语言文字协同作用，促使读者突破传统文学交流模式的约束，得以能动地参与叙事,在语言文字、视觉、动感等不同层面上进行认知加工处理，形成全身心感官体验。
后现代文化语境下的文学交流图景发生了如此巨变，使我们不得不重新审视文学性、审美性、文学交流过程等传统文学概念；通过考察多模态组构表征与读者的心理和认知体验之间的关系，揭开新型文学样态所引发的独特认知体验和情感认同的神秘面纱。
多模态认知诗学研究概览
虽然多模态交流实践并非新鲜事物，但是，多模态作为一个学术研究领域，尚处于萌芽期（Gibbons, 2012: 13）。多模态认知诗学，顾名思义，指对多模态文学语篇的认知诗学研究。从该名称可以看出，它是新兴的认知诗学和多模态语篇研究跨学科整合的产物，标志着认知诗学研究的最新进展。
多模态认知诗学的缘起
随着数字和传媒技术的普及，信息的多模态化已经成为势不可挡的时代潮流。多模态语篇也因此成为多学科研究的热点，然而其主旋律是社会符号学视角下的视觉语法和多模态语篇分析，代表人物为Kress & van Leeuwen (1996/2006，2001，2010)、van Leeuwen (2005)、Baldry and Thibault（2006）、Bateman （2008）。他们的研究重点不尽相同，但是其核心路径是通过借用系统功能语法系统描述多模态语篇的组构系统，阐释多模态语篇的三个元功能。该类研究过分强调语言结构和视觉结构之间的类比性，没有关注语言表征和图像表征背后的心理操作过程，更没有把多模态文学作为单独的样类加以系统考察。对多模态文学不同次类的分析主要集中在文体学、文学批评和视觉交流三大阵营，如Herman (2009)、Kukkonen (2008)的漫画小说分析、Hiraga(2005)的具象诗研究、Bell (2006, 2007, 2010)超文本小说研究、Ensslin(2009)的赛博文学研究等，这些研究从不同角度阐述了多模态文学次类与传统文学的不同之处，也在不同程度上论及读者的独特认知体验。
上述研究虽然各有千秋，但在研究方法和研究内容上大致存在三大缺陷：一是倾向于割裂文字和非文字模态，厚此薄彼，赋予某一种模态以特权；二是运用只适用于某一种模态的单一理论，阐释所有模态的效果；三是没有系统考察读者/观者对多模态文学的认知加工处理和情感反应（Gibbons, 2012: 39）。
为弥补上述缺陷，Alison Gibbons (2009, 2010, 2011，2012)在发表系列相关论文的基础上，于2012年由Routledge出版社出版了专著《多模态，认知和实验文学》（Multimodality, Cognition and Experimental Literature），正式提出了“多模态认知诗学”这一术语，并结合实例展示了多模态认知诗学的整合研究框架，翻开了多模态认知诗学研究的新篇章。
多模态认知诗学的孕育
针对多模态文学盛行的时代语境，认识到当下研究之不足，以Gibbons为代表的几位学者，试图通过考察多模态文学表征形式与读者认知体验之间的关系，揭示人类用以阅读文学艺术，并感知和理解世界的认知实践规律（Gibbons, 2012: 24）。
早在Gibbons(2012)之前，虽然没有使用“多模态认知诗学”这一术语，但是已有多位学者从认知角度关注多模态文学的不同次类。如Hiraga (2005)从像似性角度对具象诗（Concrete Poetry）进行了认知分析，探究具象诗中图像和文字的协同作用对于读者解读诗歌意义、感知诗学效果的影响，理当属于多模态认知诗学的研究范畴。再如，在符号学和多模态语篇分析的基础上，Kress等人对儿童的多模态识读能力进行了系统研究，涉及到儿童对图画书的认知加工，（Kress et al. 2001; Kress 2003; Jewitt and Kress 2003; Jewitt 2005），也应属于宽泛意义上的多模态认知诗学研究。但是，相比之下，Herman (2009)和Kukkonen (2008)对漫画小说（graphic novel）的认知研究则更具有代表性。Herman (2009) 从认知叙事学角度对Daniel Clowes（1997）的漫画小说Ghost World进行了分析，重点考察了漫画的视觉表征角度对叙事视角的影响。Kukkonen (2008) 则运用语篇世界理论对漫画小说的结构进行了认知分析。此外，Bell(2006, 2007, 2010) 持续关注超文本小说的话语和语篇世界结构，阐述了该类小说的半渗透特征具有诱发读者“跨界穿越”的潜质，诱使读者在话语世界和语篇世界之间频繁穿越。Ensslin (2009）考察了读者对赛博小说的阅读接受过程，强调指出，读者在阅读赛博小说过程中，身体与心理交互协作，同时发挥作用。除上述内省式认知分析外，Emmott, Sanford and Morrow(2006)采取实证研究的方法，对多模态维度上的文学元素进行认知心理测试研究，聚焦读者的情感反应和个体对叙事的投入程度。
在多模态文学的认知研究这一领域，最为持续和执著的研究者当属Alison Gibbons (2006, 2007, 2008, 2009, 2010, 2011, 2012)。她从2006年起，不断以“多模态和文学”为关键词，陆续发表系列学术论文，聚焦读者对平面印刷类图文小说的认知解读过程，考察视觉图像和文字互涉给传统叙事模式和阅读常规带来的挑战，探究读者在阅读该类文学过程中的动态参与和多维涉身体验。
凭借其相近的研究路径和研究目标，上述研究无形中逐步汇集，形成了一个轮廓清晰的研究方向：多模态文学样态的认知诗学研究。但是，这些研究还相对比较零散，没有采用“多模态认知诗学”这一上义术语，多数只侧重特定多模态文学样类的某个层面，尚未提出系统的整合性研究框架。直到2012年Gibbons的专著《多模态，认知和实验文学》的出版，这一局面才被打破。前期多位学者的研究可以视为多模态认知诗学的孕育期，Gibbons (2012)标志着多模态认知诗学正式破土而出，迎来了其萌芽和成长期。
多模态认知诗学的萌芽
迄今为止，Gibbons（2012）是多模态认知诗学研究的最新也是最杰出的研究成果。该部专著，博采众长，在批判整合多学科研究——认知诗学和文体学、多模态研究、叙事学、文学批评的基础上，提出了多模态认知诗学分析框架，并结合四部二十一世纪多模态小说实例（Mark Z. Danielewski的House of Leaves (2000); Steve Tomasula的VAS: An Opera in Flatland (2002); Jonathan Safran Foer的Extremely Loud & Incredibly Close (2005)；Graham Rawle的Woman’s World (2005)）进行了细致的分析。Gibbons(2012)从理论架构到实例应用分析，系统展示了一个基于跨学科整合的多模态文学研究路径，该路径具有一定的可效仿性（Gibbons, 2012:216）。
该研究的整合性特征一方面体现在理论上的跨学科交叉互补。首先，Gibbons (2012)充分运用并发展完善了认知诗学的经典理论，如图形-背景、认知语法、认知指示、概念隐喻和概念整合、语篇世界理论，用以破解多模态文学语篇繁杂、开放、动态变换和延展的多重符号表征结构，阐释文学意义和审美效果的体验加工过程。如，本书不但揭示了多模态概念隐喻和概念整合的在多模态文学中的普遍性，而且结合具体实例——小说VAS: An Opera in Flatland中的通篇延展隐喻（extended metaphor）“PEOPLE ARE BOOKS”与书本物理实体和身体的概念整合——详尽阐述了多模态概念隐喻和概念整合的互补性。作者强调指出源域和目标域是相互催生助长的，概念整合过程会产生认知折射（refraction），即不但在相互催生中更新两个域的内容，而且还会进一步修订合成意义本身(Gibbons 2012:218)。再如，Gibbons (2012) 修订完善了指示转移理论（Deictic Shift Theory）。她援引Brunye et al（2009）心理实证研究成果，说明指示转移理论中的某些基本概念，如知觉投射（perceptual projection），对人类复杂的认知系统进行了简单化处理；指示投射既有涉身体验属性，又有社会文化属性，研究者应该考虑语篇的语境，综合阐释指示符号表征所诱发的认知和自我暗示心理操作(Gibbons, 2012:219)。又如，Gibbons (2012)主张突破语篇世界理论中关于话语世界与语篇世界截然分割的局限，援引McHale（1987）提出的“半渗透性薄膜”（semi-permeable）这一概念，详述了多模态文学阅读者在全方位涉身体验过程中的越界问题。多模态符号表征，如VAS: An Opera in Flatland中的翻页图示，相当于在向读者直接发出某种指示行为，引导读者的身体行为反应，彰显读者与叙事之间的内在关联。VAS中的例子表明，多模态文学充分调用读者在话语世界的身体行为，在维持读者独立自主性的同时，创造独特的叙事效果（Gibbons, 2012:213）。其次，为了构建对多模态文学更有针对性的认知诗学研究框架，作者除了运用和发展认知诗学的相关理论外，还援引神经认知科学、视觉感知研究等学科领域内的研究成果，突破狭义认知的牢笼，借鉴更为宽泛的认知原则，如多感官感知原则、涉身体验原则、视觉感知知识，对认知诗学的理论分析提供进一步的硬科学佐证。值得一提的是，作者援引神经认知科学中关于多感官感知的最新研究发现“脑神经整合加工模式”——大脑以一种互动和整合的方式加工处理感官输入信息，而不是传统认为的感官模块各自为政（Pavani, Murray and Schroeder 2006; Thesen et al. 2004）——推论出与常规文学相比，多模态文学的阅读过程更接近大脑的认知加工真实（Gibbons, 2012: 37）; 并援引神经科学关于神经反应的研究佐证多种模态参与叙事，赋予多模态小说的读者以更强烈的叙事体验和情感反应（Stafford and Webb, 2005）。除神经认知科学外，Gibbons 还借鉴了簇分析（Cluster Analysis）、阅读路径（Reading path）、矢量（Vector）等来自社会符号学领域的多模态语篇描述工具。实例分析表明，源自不同学科的这些理论和分析工具相互补充，相得益彰。
另一方面，该研究的整合性特征还体现在其研究方法上——内省分析与实证研究相结合。Gibbons (2012)在对多模态表征诱发的后台操作进行了一系列内省式认知分析之后，在第七章，以Woman’s World (Graham Rawle, 2005)的真实读者为调查对象，进行了小规模的实证调查，考察读者阅读该多模态小说的心理感受，检验基于内省分析提出的某些论断。如该实证调查为多模态文学阅读过程中的“双稳态动态摇摆”（Bistable oscillation）现象提供了最有说服力的佐证：读者反映这一现象在感知觉体验中确实是普遍存在的。该研究还证实，多模态文学和传统文学的阅读体验存在诸多差异，尤其是在注意力、音响想象、视觉化等方面存在巨大差异(Gibbons, 2012:219)。
多模态文学的认知体验特征
尽管各类多模态文学样态的体验特征不尽相同，但是，与传统的纯文字文学的认知体验相比，不同模态协同互动下读者的感知、认知理解和情感反应具有某些规律性特征。Gibbons(2012: 208-211)对其进行了概括总结。
双稳态摇摆感知（bistable oscillation）：多模态小说的多感知觉设计方式，如鲜明的图形元素和立体空间组构方式，阻隔了读者对虚拟文学世界的心理想象性持续浸入（imaginative immersion）,促使读者的感知不断在视觉凝视（即对媒介符号表征本身的肉眼观看）与心理想象（即穿越符号表层抵达虚拟文学世界）之间摇摆切换，这一动态切换穿越读者的心智和身体两个维度。与阅读常规文字文本不同，表征符号本身不再只是令读者“得意以忘形”的媒介，相反，它们是参与文学意义构建的重要维度。这一动态摇摆性特征是由Lanham (1993)首先注意到并加以命名的，但是，此前，这一概念只停留在理论观察层面，尚无经过严格和系统的分析佐证。Gibbons (2012: 88-126)把多模态语篇标识与指示转移结合起来，运用语篇世界理论对VAS: An Opera in Flatland进行了细致的图示分析，之后在第七章又对这一阅读策略进行了实证调查，验证了这一心理操作的普遍性，加深了我们对助推或阻隔虚拟浸入的多模态符号化过程的理解（Gibbons, 2012:209）。
双重情境体验（double-situatedness）: 与上述双稳态摇摆相关，多模态小说极易诱发读者的双重情境定位感，即读者会自觉地意识到心理和物理两个层面上的自我同时参与叙事体验。在论及超文本中的双重情景定位问题时，Ensslin(2009：158) 指出：读者是超文本的涉身使用者，即必须采取物理行为参与叙事进程，同时又借助表征形式如有形或无形的符号化身进入虚拟世界内部，心理上虚拟体验故事世界。这种双重情景感知包括各类身体操作、宽泛的心理投入、指示中心转移和各类自我投射认同方式（Gibbons, 2012:210）。
双重主体幻觉：指读者在阅读多模态文学时产生的一种双重身份幻觉：一个是位于话语世界的肉身自我，另外一个是文本世界内的符号表征物——人物。与阅读传统文学不同，两者之间的心理共鸣所引发的不是非此即彼的忘我感，而是异质同体的虚幻感。“双重主体性”这一概念最早是由Herman(1994, 2002)分析第二人称代词的双重指示性时提出的。当初Herman(1994) 主要是根据第二人称代词的多重指称含义，从语言学角度分析双重指示主体性这一现象的。Herman强调指出，该现象依赖于故事内人物与故事外真实读者之间的身份叠置。Gibbons(2012)结合多模态文学的认知解读特点，对这一概念进行了拓展，她指出多模态文学的图形设计创造了读者与人物之间的多种平行和认同关系。虽然在任何文学阅读中都会产生读者与故事内主人公的想象性认同，但是，多模态设计往往调动读者的施为性参与，使得双重主体性感觉更加明显。
穿越边界操作：与上述特征密切相关，在多模态文学文本中，具象诗般的排版格式或需要破解的各类符号编码邀请读者以身体行为方式与文本产生互动。位于话语世界的读者作为一个故事外施事参与到虚拟故事进程中，使之产生了一种纵跨边界的穿越感，话语世界与语篇世界之间在本体上不再界限分明，不可逾越，读者应邀幻化为语篇世界内的人物，在身体上采取相应的物理行动，在心理和情感上与之越界共鸣。这种穿越感有助于解释多模态文学体验的动态性本质，在后现代小说、赛博小说、超文本小说中体现更加明显。施为性越界有助于加深我们对超出文学经验之外的其它认知体验和现象学的认识，如Wii运动模拟器，需要运动者移动身体去控制游戏中的化身符号开展各类运动(Gibbons, 2012:212)。
上述特征是从不同角度描述多模态文本带给读者的非常规认知体验，并非泾渭分明。如双稳态摇摆指的是读者在感知觉层面上对恒定表征符号采用动态切换感知模式，形成不同的感知觉印象。双重情景和穿越边界是从读者相对于虚拟文本世界的关系的角度，对读者的体验加工过程加以描述的，而双重主体性则侧重于描述读者与虚拟人物之间的离合关系(Gibbons, 2012:215) 。
多模态认知诗学的发展前景
多模态文学突破了纯文字文本的枷锁，倚重异质感官符号的协同表征，把人的感知觉带回到应有的原始性高度，令疲倦于城市的喧嚣、久居于高度技术化语境中的后现代人类耳目一新，获得新奇的审美愉悦。对该类符号能指自身被高度前景化的文学样态，从读者阅读体验和艺术审美感知的角度加以考察，有助于加深我们对文学阅读过程的了解，推动认知诗学超越现有的只局限于语言学和语言形式分析的研究范式，拓展其学科内涵，丰富和发展认知诗学理论。
Gibbons(2012：220-225)指明了多模态认知诗学的应用前景和未来研究方向。除了主张继续对多模态平面小说进行更大规模的系统的认知诗学分析外，她建议把认知诗学应用到其他次类的多模态小说如儿童图画书、漫画小说、具象诗或者更加极端的多模态文学样态如超文本、赛博文本小说，以期完善现有的理论框架。此外，多模态认知诗学的研究路径还可用于分析图画公告牌、电视广告等，可以结合分析设计者的动机和市场营销策略，对多模态营销开展系统的认知研究（Gibbons, 2012:223）。
除了拓展多模态样态外，多模态认知诗学还应加强对读者阅读情感的实证研究。正如Oatley（2003：167-170）所说，“情感是语篇意义的核心”；情感也是认知科学和认知诗学关注的重点话题，如Mial and Kuiken（2002）、Whiteley（2010）。对多模态文学所诱发的读者情感反应的研究势必涉及到读者的涉身体验，Gibbons (2006: 253)指出已有大量证据证明，情感反应和身体行为之间具有复杂的动态关系，那么，采用科学的方法，对文学的多模态表征在多大程度上影响读者的情感反应这一课题进行研究，将有重要的价值和意义。
在研究方法上，基于真实读者回顾反思的实证研究（Gibbons 2012）毕竟有相当程度的主观性，应该采用神经认知科学的研究方法，运用科学的监测仪器，对真实读者阅读多模态文学过程中的大脑神经活动进行实时监测，以期检验修订基于内省式分析所做的论断。
我们相信新兴的多模态认知诗学必将引起更多学者的研究兴趣，获得更有真知灼见的研究成果，推动我们对文学和其它艺术形式乃至一般认知经验的理解。
参考文献：
[1] Baldry, A & Thibault, P. J. Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Coursebook [M]. London: Equinox, 2006.
[2] Bateman, J.A. Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents [M]. Basingstoke: Palgrave Macmillan, 2008.
[3] Bell, A. The Possible worlds of Hypertext Fiction [M]. Basingstoke: Palgrave Macmillan, 2010.
[4] Bell, A. Do you want to hear about it? Exploring possible worlds in Michael Joyce’s hyperfiction, Afternoon, A Story [A]. In Lambrou, M. and Stockwell, P. (eds.) Contemporary Stylistics. London: Continuum, 2007.
[5] Bell, A. The Possible worlds of Hypertext Fiction. Unpublished PhD thesis. University of Sheffield, 2006.
[6] Bolter, J. D & Grusin, R. Remediation: Understanding New Media [M]. Cambridge, MA: MTI Press, 1999.
[7] Brunye, T. T, Ditman, T. et al. When you and I share perspectives: Pronouns modulate perspective taking during narrative comprehension [J]. Psychological Science 2009, 20(1):27-32.
[8] Clowes，D. Ghost World [M]. London: Jonathan Cape, 1999.
[9] Emmott, C, Sanford, A. J & Morrow, L. I. Capturing the attention of readers? Stylistics and psychological perspectives on the use and effect of text fragmentation in narratives [J]. Journal of Literary Semantics, 2006 (35):1-30.
[10] Ensslin, A. Responsibility narrative and cybertextual de-intentionalisation: Kate Pullinger’s The Breathing Wall [A]. In Page, R. (ed.). New Perspectives on Narrative and Multimodality. London; New York: Routledge, 2009.
[11] Fore, J. S. Extremely Loud & Incredibly Close [M]. Boston: Mariner, 2005.
[12] Gibbons, A. Multimodality, Cognition, and Experimental Literature [M]. London: Routledge, 2012.
[13] Gibbons, A. Multimodal Metaphor by Charles, J. Forceville and Eduardo, Urios-Apansi(eds.) [J]. [Review Article] Language and Literature,2011, 20(1):78-81.
[14] Gibbons, A. Narrative worlds and multimodal figures in House of Leaves: Find your own words; I have no more [A], in Grishakova, M and Ryan, M-L (eds.) Intermediality and Storytelling. Berlin: Walter de Gruyter, 2010.
[15] Gibbons, A. I contain multitudes: narrative multimodality and the book that bleeds [A], in Page, R. (ed.) New Perspectives on Narrative and Multimodality. London; New York: Routledge, 2009.
[16] Gibbons, A. Multimodal Literature ‘moves’ us: Dynamic Movement and Embodiment in VAS: An Opera In Flatland [J]. HERMES - Journal of Language and Communication Studies, 2008: 41.
[17] Gibbons, A. Multimodality and cognition: reading word and image [A], in Baldry, A. and Montagna, E. (eds.) Interdisciplinary Perspectives on Multimodality: Theory and Practice. Proceedings of the Third International Conference on Multimodality. Campobasso: Palladino, 2007.
[18] Gibbons, A. A Visual & Textual Labyrinth: The Eyes' Dilemma, Mark Z. Danielewski's House of Leaves [J]. Route 57 1, Online Magazine, 2006.
[19] Glenberg, A. M. Language and action: Creating sensible combinations of ideas [A]. In Gaskell, G (ed.) Oxford Handbook of Psycholinguistics. Oxford: Oxford University Press, 2007.
[20] Herman, D. Word-image/utterance-gesture: Case studies in multimodal and Practices [A]. In Page, R. (ed.) New Perspectives on Narrative and Multimodality. London; New York: Routledge, 2009.
[21] Herman, D. Story Logic: Problems and Possibilities of Narratives [M]. Lincoln ;London: University of Nebraska Press, 2002.
[22] Herman, D. Textual you and double deixis in Edna O’ Brien’s A Pagan Place [J]. Style, 1994, 28(3): 378-410.
[23] Herman, D. Cognitive approaches to narrative analysis [A]. In Brone, G. and Vandaele, J. (eds.) Cognitive poetics: Goals, Gains and Gaps. Berlin: Mouton de Gruyter, 2009.
[24] Hiraga, M. K. Metaphor and Iconicity: A Cognitive Approach to Analyzing Texts [M]. New York: Palgrave Macmillan, 2005.
[25] Jewitt, C. Technology, Literacy, Learning: A Multimodal Approach [M]. London: Routledge, 2005.
[26] Jewitt, C. & Kress, G. Multimodal Literacy [M].Oxford: Peter Lang, 2003.
[27] Kress, G. & van Leeuwen，T. Reading Images: The Grammar of Visual Design [M]. London: Routledge, 1996/2006.
[28] Kress, G. & van Leeuwen，T. Multimodal Discourse: The Modes and Media of Contemporary Communication [M]. London: Arnold, 2001.
[29] Kress, G. & Jewitt, C.et al. Multimodal Teaching and Learning: The Rhetorics of the science Classroom [M]. London: Continuum, 2001.
[30] Kress, G. Literacy in the new Media Age [M]. London: Routledge, 2003.
[31] Kukkonen, K. Textworlds and metareference, unpublished paper presented at Metareference in the Arts and Medis International Symposium at the Faculty of Humanities, Karl-Franzzens –Universitat Graz, May 22, 2008.
[32] Lanham, R. The Electronic Word: Democracy, Technology and the Arts [M]. Chicago: University of Chicago Press, 1993.
[33] Danielewski, M. Z. House of Leaves [M]. Pantheon Books, 2000.
[34] McHale, B. Postmodernist Fiction [M]. London: Routledge, 1987.
[35] Mial, D. S. & Kuiken, D. A feeling for fiction: becoming what we behold [J]. Poetics, 2002 (30): 221-241.
[36] Oatley, K. Writingandreading: The Future of cognitive poetics [A]. In Gavins, J. and Steen, G.(eds.) Cognitive Poetics in Practice. London: Routledge, 2003.
[37] Pavani, G, Murray, M. M. & Schroeder, C. E. Rethinking mind, brain and behaviour through a multisensory perspective [J]. Neuropsychogia, 2006, 45(3):467-468.
[38] Rawle, G. Woman’s World [M]. London: Atlantic Books, 2005.
[39] Stafford, T. & Webb, M. Mind Hacks: Tips, Tools for Using Your Brain [M].Sebastopol, CA: O’ Reilly, 2005.
[40] Tomasula, S. VAS: An Opera in Flatland [M]. Chicago: University of Chicago Press, 2002.
[41] Thesen, T. et al. Neuroimaging of multisensory processing in vision, auditon, touch and olfaction [J]. Cognitive Processes, 2004 (5): 84-93.
[42] van Leeuwen, T. Typographic Meaning [J]. Visual Communication，2005, 4 (2) :137-143.
[43] Whiteley, S. Text Theory and Emotional Experience of Literary Discourse. Unpublished PhD thesis. University of Sheffield, 2010.
[44] 詹姆逊．现代性、后现代性和全球化 [M]．王逢振译．北京：中国人民大学出版社，2004．
[45] 李战子.多模式话语的社会符号学分析 [J].外语研究，2003 (5): 1-8.
[47] 汪民安. 谁是罗兰 巴特 [M]，南京：江苏人民出版社，2005.
[51] 杨信彰.多模态语篇分与系统功能语言学 [J]. 外语教学，2009 (5): 11-14.
[52] 袁诠. 超文本小说研究现状分析 [J]. 华中师范大学学报，2007 (2): 73-77.
[53] 张德禄.多模态话语分析综合理论框架研究 [J].中国外语，2009 (1): 24-30.
[54] 张屺. 交互叙事：数码时代讲故事的新策略 [J]. 东方丛刊, 2009 (4): 158-169.
[55] 赵毅衡. 符号学原理与推演 [M]. 南京：南京大学出版社，2011.
[56] 赵秀凤. 跨文化视域中认知诗学的本土化研究构想[J]. 外国语文，2012 (2): 7-10.
[57] 朱赢椿.设计诗[M].广西：广西师范大学出版社，2011.
[58] 朱永生.多模态话语分析的理论基础和研究方法[J]. 外语学刊，2007 (5): 82-86.
（该文转载于《外国语文》2013年第6期第43页至51页）
中文版
English
设为首页
加入收藏
