多模態(tài)語篇分析

1、多模態(tài)語篇分析1當今，人們在交際過程中經(jīng)常同時使用多種符號工具來表達意義或創(chuàng)造信息。多模態(tài)（multimodality）也稱多符號（multi-semiotic），指包括口語、書面語、圖像、圖表、空間以及其他可以用來構建意義的各種符號資源。隨著現(xiàn)代技術的發(fā)展，人們使用的交際模態(tài)和交際媒體都發(fā)生了很大的變化。多模態(tài)話語沖擊了傳統(tǒng)上文字在交際領域中的中心地位。在許多情況下，語言與其它符號資源各有所長，一起構建意義。各種模態(tài)以整合的整體共同為交際服務。 2如今，我們生活在一個多模態(tài)的社會，使用各種符號資源來完成意義表征和交際。正如Kress（2001: 68）所提到的，在教材、報紙、機構報告、電子媒

2、介、網(wǎng)絡等，圖像正替代語言成為主要的意義構建資源，或者與語言平分秋色。在“視覺文化”的影響下，意義的構建往往通過文化處所或實體來體現(xiàn)，視聽動態(tài)圖像逐漸取代文本來傳遞信息。 3人們通常認為現(xiàn)代符號學研究始于Saussure和Peirce。Saussure（1916）認為符號學屬于社會心理學，主要研究符號的構成及其支配規(guī)律。他認為語言學是符號學的一個組成部分。符號包括能指和所指兩方面組成。符號同符號之間的區(qū)別構成符號系統(tǒng)，用于實現(xiàn)交際目的。Peirce（1958）則認為符號由三方面組成：表征、對象和解釋。他重點區(qū)分了三種符號：圖像符號、指示符號和象征符號。 4受Saussure和Peirce的影響

3、，主要的符號學研究都在尋求能夠適用于所有符號的理論框架。根據(jù)Hervey（1982）的觀察，Morris將符號學分為研究符號與存在之間關系的語義學，符號與人的創(chuàng)造性使用的語用學以及符號與符號之間關系的語形學。Barthes把符號視作一種社會文化意識形態(tài)，將符號學的研究范圍擴展到整個社會，包括文學、語言、圖片、電影、烹飪和衣著等。學者們應用符號學的理論對交通信號系統(tǒng)、羅馬數(shù)字系統(tǒng)、語表意文字、文學作品、電影、廣告作了分析。 5近年來的多模態(tài)研究主要有四種視角：交互社會學的視角、認知的視角、語體學的視角和功能符號學視角。從交互社會學的視角，學者應用交互社會學理論研究即席話語和公共場所中的多模態(tài)，關

4、注人們如何在交際時采用不同模態(tài)構建他們所處的情景和身份。其出發(fā)點不是語篇而是人們的行為，主要代表人物有Scollon和Norris等。 6從認知的視角，學者們關心的是概念化理論如何指導交際者選擇不同的模態(tài)或模態(tài)組合進行連貫的交際。他們側重研究理想的認知模式中源和目標如何同時以一種以上的模態(tài)表征。其主要代表人物有Forceville和Holsanova等人，其主要代表作品有Pictorial Metaphor in Advertising（Forceville 1996）等。此外，Stckl（2004）也做了相關的研究，認為不同模態(tài)在符號屬性、認知取向和語義潛勢上體現(xiàn)出區(qū)別性特征。 7符號屬性指

5、模態(tài)的內在結構和使用者慣常使用該模態(tài)構建意義的方式。圖像對世界的表征手段是象似性，是對現(xiàn)實世界的直接模擬，而語言則是象征性的。 語言是線性結構，在認知取向上要求把線性的符號組織成短語，短語組織成句子等。圖像則基于整體的完形感知（gestalt-perception）。因此，與語言相比，圖像是更快捷的意義構建模式。心理學實驗表明，圖像比語言更容易吸引讀者的注意力，更容易記憶。 8語體學視角關注的語體特征與多模態(tài)的關系。Lanham（1983；2003）注意到受計算機技術的影響，“散文”的概念已發(fā)生了變化：從書面到電子、從靜態(tài)到動態(tài)、從無聲到有聲等。他認為散文分析應該包括傳統(tǒng)的書面散文和現(xiàn)代的多媒

6、體散文，并指出計算機給文本寫作提供了動態(tài)的三維空間。因此，我們需要一種描寫這種三維文本的語法，特別是描寫文字同聲音和圖像的關系。線性閱讀和圖像式閱讀相輔相成，互為補充。 9功能符號學的視角運用系統(tǒng)功能語言學理論，分析包括語言之內不同模態(tài)的意義構建模式。在多模態(tài)話語的研究上，這一視角的研究成果最多，成為多模態(tài)研究的主要力量。其代表人物包括Kress，van Leeuwen，OToole，Lemke，OHalloran，Baldry，Thibault，Bateman和Martinec等。功能符號學的多模態(tài)分析理論基礎主要來自Halliday（1978）的語言是社會符號的觀點。 10早期的功能符號學

7、多模態(tài)研究關注用Halliday的系統(tǒng)功能語法來分析語言之外的某種模態(tài)，如OToole（1994）對油畫、建筑和雕塑的分析，Kress & van Leeuwen對圖像的分析。20世紀90年代末以來，系統(tǒng)功能符號學者開始關注多模態(tài)話語中模態(tài)間的分工與整合。OHalloran（2007; 2008）稱之為系統(tǒng)功能的多模態(tài)話語分析（Systemic Functional Multimodal Discourse Analysis，簡稱SF-MDA）。 SF-MDA主要研究符號資源的意義潛勢在不同層面（語境、語篇語義、詞匯語法、語音、書寫/圖形）的體現(xiàn)和多模態(tài)話語中符號選擇的意義整合。 11一些學者

8、運用系統(tǒng)功能語言學理論研究語言之外的某種模態(tài)，較早的兩部專著是Kress與Van Leeuwen合著的Reading Images: The Grammar of Visual Design (1990/1996/2006）和OToole的Language of Displayed Art（1994）。兩者都致力于視覺語法的構建：前者關注圖像，后者主要研究油畫、雕塑和建筑。 12有些學者認為各種模態(tài)的三個元功能具有同等的作用。 他們根據(jù)系統(tǒng)功能語法中的概念功能、人際功能和語篇功能，分析了圖像的再現(xiàn)功能、互動功能和構圖功能。 但是視覺符號與語音層不同，有點、線條、顏色、光等。 13此外，也有些學

9、者認為某個元功能占主導作用（Martinec 2005）。Van Leeuwen（1999）認為音樂中人際功能占主導地位，因為音樂的結構特征是韻律的和遞歸的，即旋律和節(jié)奏。Lemke（1998）對書面科學語篇中的圖形和圖表的分析表明呈現(xiàn)意義和組織意義要比取向意義更前景化，并顯示出明顯的多樣化。Martinec（2001; 2004）認為在動作模態(tài)中經(jīng)驗功能占主導地位。 14更多的學者關注多模態(tài)話語中各模態(tài)之間的關系和語法整合。Lemke（1998，2000）從理論上解釋了模態(tài)之間的語義擴展。他認為，語言和其他模態(tài)共同進化使我們擁有構建范疇意義和程度意義的兩種不同方式。語言擅長范疇意義的構建，而

10、動態(tài)動作和視覺圖像更容易表達程度意義。Lemke（2000）認為，多模態(tài)語篇中的模態(tài)混合必然導致語義的擴展，從而產(chǎn)生新的解釋空間。例如，數(shù)學語篇混合使用語言、視覺圖像和數(shù)學符號構建的世界遠遠超越了語言所能構建的世界，從而產(chǎn)生新的解釋空間。 15多模態(tài)語篇中模態(tài)間的研究大致有三類。一類是研究多模態(tài)語篇中不同部分之間的關系；另一類是研究由不同模態(tài)體現(xiàn)的語篇之間的關系，比如圖像語篇和語言語篇之間的關系，語言、數(shù)學符號和圖像之間的關系，態(tài)勢與口語的協(xié)作以及圖像，語言和聲音的協(xié)作。第三類是研究多模態(tài)語篇中不同模態(tài)之間的關系。目前大致有三種觀點：意義關系，成分銜接和符號隱喻。 16Lemke（2002）提

11、出超模態(tài)（hypermodality）的概念，指超媒體（如網(wǎng)絡）中的語言、圖像和聲音等體現(xiàn)的意義的互動。超模態(tài)不同于多模態(tài)，前者不僅是具有超鏈接的語篇，也不僅僅是圖像、文字和聲音的并置，而且還有它們之間的多種隱性或者顯性的聯(lián)系。Lemke 認為，兩個網(wǎng)頁之間存在著交換關系、取向關系和呈現(xiàn)關系。此外，顏色在空間分布上的差異也體現(xiàn)出不同的突顯模式。Djonov（2006）也分析了兒童網(wǎng)站上最常見的邏輯-語義關系及其超鏈接對使用者的導航作用。 17多模態(tài)研究關注的一個重點是教育，尤其是多模態(tài)讀寫（multiliteracy）。胡壯麟（2007: 7）將多模態(tài)讀寫解釋為具有能閱讀所能接觸到的各種媒體和

12、模態(tài)的信息，并能循此產(chǎn)生相應的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體。傳統(tǒng)方式的讀寫在多媒體時代已不夠用。教室中不斷增加的多媒體設備已使教育多模態(tài)化。多模態(tài)的發(fā)展使傳統(tǒng)的文字讀寫向多模態(tài)讀寫轉變，教學方法、教材編寫和學習任務等也相應發(fā)生了變化。Duncum（2004）認為多模態(tài)讀寫涉及不同媒介的互動來構建意義。18隨著現(xiàn)代科學技術的迅速發(fā)展，多模態(tài)語篇的出現(xiàn)打破了傳統(tǒng)概念上的語言或言語基礎上的理解。人們需要以新的角度審視現(xiàn)代社會中的話語。Kress（2001: 80）甚至認為，不存在所謂外在的語境，只有各種符號模式組成的整體。學者們在近20年間對多模態(tài)現(xiàn)象進行了廣泛的研究，從理論上和實踐上探索了多模態(tài)的本質，涉及模態(tài)本身、模態(tài)之間的關系、多模態(tài)語料庫建設和軟件開發(fā)以及多模態(tài)在教育中的作用。 19研究的