張德祿中國海洋大學外國語學院.ppt

多模態(tài)話語理論與現(xiàn)代媒體技術(shù)在外語教學中的應用,張德祿 中國海洋大學外國語學院,1,1.0 引言,話語分析轉(zhuǎn)入多模態(tài)話語分析階段:人類的實際交際過程：聽覺、視覺、觸覺并用 伴語言特征：音響度、聲調(diào)、語調(diào)、音速等; 身體特征:如手勢、身勢、面部表情、動作、移動等 非身體特征：PPT、音響設備、網(wǎng)絡、實驗室、周圍的環(huán)境因素等。 首先，根據(jù)系統(tǒng)功能語言學理論嘗試建立一個多模態(tài)話語分析的綜合框架； 然后，探討不同的模態(tài)及其之間的關(guān)系； 第三，探討實現(xiàn)模態(tài)的不同媒體系統(tǒng)； 最后，探討如何在外語教學中選擇模態(tài)和媒體。,2,多模態(tài)話語：運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。 這種現(xiàn)象司空見慣，自古有之，如詩歌配上圖畫，說話時打手勢做鬼臉，使用不同口氣和腔調(diào)等。 系統(tǒng)功能語言學是最適合于研究多模態(tài)話語的理論模式，其主要原因有以下三個方面： （1）系統(tǒng)功能語言學不僅關(guān)心語言內(nèi)部的運作機制，同時還研究語言外的環(huán)境和動因； （2）系統(tǒng)功能語言學把話語的意義和功能放在首要位置上； （3）意義的實現(xiàn)是以多模態(tài)形式進行的，語言只是這些形式中最有效的一種。,3,2.0 多模態(tài)話語分析的理論基礎,系統(tǒng)功能語言學理論本身不需要做任何改動就可以直接作為其理論框架。 這個框架主要由五個層面的系統(tǒng)和選擇的基本因素和條件組成(Martin, 1992)。這五個層面分別是： （1）文化層面，意識形態(tài)、體裁； （2）語境層面，話語范圍、話語基調(diào)和話語方式 （3）意義層面，概念意義、人際意義和謀篇意義； （4）形式層面，詞匯語法系統(tǒng)，視覺語法系統(tǒng)，聽覺語法系統(tǒng)，觸覺語法系統(tǒng)等 （5）媒體層面，語言的和非語言,4,3.0 多模態(tài)話語綜合框架初探,如上所述，系統(tǒng)功能語言學為多模態(tài)話語分析提供了一個相對現(xiàn)成的理論框架。這就是說，在語境和交際層面和話語意義層面，單模態(tài)的語言交際和多模態(tài)話語交際并沒有什么區(qū)別。李姆（Lim, 2004）在研究圖畫與語言形成的多模態(tài)話語時提供了如下的框架。 在這個框架中，語言和圖畫作為交際模態(tài)共有意識形態(tài)、體裁、語域和話語意義四個層面。 在內(nèi)容層面，圖畫具有視覺語法，而語言則有詞匯語法； 在表達層面，語言由印刷符號體現(xiàn)；圖形由圖形符號體現(xiàn)。 在這里最主要的研究領(lǐng)域是把兩者在內(nèi)容層面和表達層面整合為一體，特別是在內(nèi)容層面研究的任務最重。,5,6,這個框架是對語言與圖像所形成的多模態(tài)話語的分析框架，還不是一個對所有模態(tài)都適用的框架。但其基本思路是正確的： 第一，他的層次的思想是正確的 第二，不同的模態(tài)涉及由不同的媒體來體現(xiàn) 第三，不同的模態(tài)需要整合在一起 據(jù)此，我們根據(jù)韓禮德的系統(tǒng)功能語言學理論，和我們以上研究的結(jié)果，提出了如下的理論框架（見圖二）。,7,8,這個框架分為四個層面：文化層面、情景層面、內(nèi)容層面和表達層面。 文化層面是使多模態(tài)交際成為可能的關(guān)鍵層面。意識形態(tài)；體裁。 語境層面：話語范圍、話語基調(diào)、話語方式；實現(xiàn)所選擇的體裁。 話語意義層面，概念意義、人際意義和謀篇意義。 形式層面：視覺語法、聽覺語法、觸覺語法等。,9,4.0 多模態(tài)話語的形式及其關(guān)系,4.1 多模態(tài)話語的形式 媒體只有通過形式層面的組織和模式化才具有直接表達意義的能力。 形式對媒介進行組織有兩種手段：一是直接賦予某個媒介符號某種意義。由這種符號組成的符號系統(tǒng)通常沒有能產(chǎn)性、沒有任意性； 二是把一定的媒介符號進行組合，然后賦予這種組合一定的意義，這就是語法的作用。由這種符號和符號組成規(guī)則形成的符號系統(tǒng)具有任意性、能產(chǎn)性、雙分性，由三個層次的代碼組成（媒介、形式（詞匯語法）和意義）。語言屬于這一類。 語言：詞匯語法 圖像：圖符圖形語法 音響：音符聲響語法 接觸：實體-感觸語法,10,4.2 多模態(tài)話語形式之間的關(guān)系 運用多模態(tài)的理由：一種模態(tài)不足以表達清楚交際者的意義，從而利用另一者來強化、補充、調(diào)節(jié)、協(xié)同，達到更加充分，或者盡量充分表達意義，讓聽話者理解話語的目的。 關(guān)系：互補 vs 非互補 互補：強化（突出、主次、擴充） vs 非強化（交叉、聯(lián)合、協(xié)調(diào)） 非互補：交疊（冗余、排斥、抵消）vs 內(nèi)包（部分、具體）vs 語境交互（獨立vs 依賴）,11,12,5.0 多模態(tài)話語的媒體系統(tǒng),從多模態(tài)話語的角度，我們可以把媒體分為語言媒體和非語言媒體； 3.1語言媒體 傳統(tǒng)媒體：主要兩種，聲波傳導的聲音符號和由筆、毛刷等生成的書寫符號。 其他媒體：隨著信息技術(shù)的不斷發(fā)展，其他技術(shù)開始用于語言信息的傳播，如計算機文字輸入，計算機語音識別等，但最后的傳播媒體仍然是聲音或者字符。 伴隨語言的媒體形式：音響，聲音的大小，音調(diào)，聲音的頻率，口音，口氣等，以及字體形狀、大小、空間的布局等。,13,3.2 非語言媒體 交際者肢體動作和交際者在意義表達中所使用的其他非語言手段，如工具、環(huán)境等。 1.交際者肢體的動作可以分為三個類別： 一、由頭部的移動形成的動作 二、由手臂和腿形成的媒體符號 三、軀干的動作，如移動、比劃、模擬等。 2.非肢體媒體：工具和環(huán)境： 工具:音響設備， PPT，網(wǎng)絡設備，到現(xiàn)在的網(wǎng)絡平臺，同聲傳譯室等都是工具性媒體； 環(huán)境: 環(huán)境中已有的任何相關(guān)因素：人和物，有象征意義的符號等。,14,15,6.0 模態(tài)選擇,6.1 模態(tài)選擇程序 對多模態(tài)話語理論框架進行選擇的基本程序是： 意義選擇：在文化語境中，受意識形態(tài)的支配和體裁系統(tǒng)的制約，根據(jù)具體的情景語境，選擇要表達的意義，包括概念意義、人際意義和謀篇意義； 意義體現(xiàn)：所選擇的意義要以合適的模態(tài)表達出來：即時的口語；安靜的手勢； 同樣，對多模態(tài)的選擇也是受語境的制約的：噪音聲音+手勢。,16,不同模態(tài)之間的相互配合問題：語義表達的需要；交際的需要。我們在選擇中所要考慮的關(guān)鍵因素是在一定的情景中，如何選擇合適模態(tài)來有效地表達所要傳達的意義。 模態(tài)與媒體基本上是形式和實體的關(guān)系。模態(tài)語法確定選擇什么樣的媒體。如視覺語法確定不同視覺媒體之間的相互配合。例如，課堂教學：熟悉的事物：語言講解；不熟悉的事物：講解 + 實物 （圖像等）。,17,6.2 模態(tài)選擇主導因素 在外語教學中，主導模態(tài)選擇的基本因素是： 話語范圍：所教授的課程的內(nèi)容，包括深度、難度； 話語基調(diào)：老師的個人特點；學生的基本特點；交際目的，如傳授知識、提高能力、提高素質(zhì)等。 話語方式：設備條件、教學環(huán)境、傳播渠道等。 教學目標：如是知識型的：講解+實例：書本、PPT、口頭講授、回答問題等方式。,18,在這個教學模式中，要涉及模態(tài)內(nèi)部媒體之間的協(xié)作，如書本與PPT：PPT通過色彩、光亮、突出的字體等來強調(diào)重點信息，而書本則可提供具體信息，補充PPT提供的框架中的具體信息。 更重要的是視覺模態(tài)與聽覺模態(tài)的協(xié)作。從形式上講，每一種模態(tài)都可以是自足的，但只有多種模態(tài)協(xié)作才能收到更好的效果。 這樣從兩種模態(tài)的關(guān)系上講，聽覺是主模態(tài)，主導交際的進程；而視覺模態(tài)則對聽覺模態(tài)起主要兩個作用：強化和補充。,19,6.3 模態(tài)選擇的原則 總體原則：充分利用現(xiàn)代媒體技術(shù)，最大限度地充分表達講話者的意義，取得最佳效果，為更好地利用現(xiàn)代技術(shù)提供一個合適的理論框架。 基本思路：人類交際中意義的體現(xiàn)具有多模態(tài)特點：在形式層面涉及不同模態(tài)的詞匯語法系統(tǒng)之間的關(guān)系；形式層面由媒體來體現(xiàn)?，F(xiàn)代媒體技術(shù)都主要是在媒體層面，所以充分利用好現(xiàn)代媒體技術(shù)是重要的研究課題。 在多模態(tài)話語交際框架下，對模態(tài)的選擇可以從三個角度進行： （1）為外語教學提供教學情景和便利條件（工具）； （2）為外語教學提供輔助條件（助手）； （3）為多模態(tài)話語交際提供多通道話語意義表達方式（補充）。,20,6.3.1 作為工具 多媒體技術(shù)的發(fā)展實際上為提供盡可能真實的語境的提供了便利條件，可以提供圖像、錄像、聲音，作為學習的實際環(huán)境。利用從真實交際場合中得到的錄像材料作為： （1）學習材料，讓學生了解和認識真實語境的實際情況，使獲得的語境知識更加具體； （2）背景信息，讓學生與錄像中的交際者在錄像提供的語境中進行交際。 發(fā)展現(xiàn)代多媒體技術(shù)的一個最基本的理念是多模態(tài)交際可以使受話人通過多通道獲得信息，比單模態(tài)話語更容易使受話者理解和記憶。 如 PPT: 文字、語音、圖形、圖像、錄像：視覺和聽覺,21,6.3.2. 作為助手 為教師提供條件，使他的工作容易進行；現(xiàn)代技術(shù)還可以從內(nèi)部提供動力，使教師和學生從內(nèi)心愿意從事這種活動，把外因轉(zhuǎn)化為內(nèi)因。 第一，特殊的東西、大的東西、顏色艷麗或者濃的東西更能吸引人們的注意力，這就是突出，把事物前景化。例如，在教學中在PPT畫面上用藝術(shù)體、黑體、大體字，可以使文字突出；在文字中加上圖片可以更能引起學生的注意等。 第二，美麗的東西、怪誕的東西、幽默的東西更能引起人們的興趣，提高學生的參與度，所以，在教學中，用現(xiàn)代技術(shù)提供美麗的圖片，幽默的簡筆畫，美麗的環(huán)境介紹可以使學生積極參與，注意力集中。 第三，有挑戰(zhàn)性的環(huán)境，或?qū)沟沫h(huán)境，或者幽默的環(huán)境，可以激發(fā)人們參與的熱情，如提供一些有一定難度的破解題，謎題；描述一個對抗的語境；或者提供一項交際任務等。,22,6.3.3. 作為補充 模態(tài)的選擇要以增加正效應為原則，具體可以包括：互相強化、互相協(xié)調(diào)、前景背景、整體部分（抽象具體）等關(guān)系。 1. 強化關(guān)系 用PPT顯示句子“Peter was killed in a traffic accident”, 并可同時讀出這個句子，在PPT畫面上配上皮特發(fā)生車禍的照片，或者放一段發(fā)生車禍的錄像片，配上發(fā)生車禍是的聲音等。 2. 協(xié)調(diào)關(guān)系 協(xié)調(diào)關(guān)系是利用多模態(tài)之間的協(xié)調(diào)性，就是還原人類社會交際的本來面目，即由一種媒體不能獨自完成的交際任務可以由其他媒體來補充。例如，在講包括下面一個對話的故事時，如果沒有圖畫，我們會不知所云： 1 Big Nutbrown Hare, “I love you as high as I can reach.” Little Nutbrown Hare, “That is quite high. I wish I had arms like that.” 但是如果我們配上圖畫就很容易了，而且還很幽默。,23,24,3. 前景背景關(guān)系 第三種選擇多模態(tài)教學的依據(jù)是語言交際中的前景和背景的關(guān)系。在外語教學中，語言交際顯然都是處在前景中，由其他模態(tài)提供背景。例如，在戲劇的開始，首先出現(xiàn)一個布景，提供事件發(fā)生的時間、地點、環(huán)境，還可以包括人物等。 4. 整體部分（抽象具體）關(guān)系 在多媒體時代，教師可以通過選擇合適的媒體來提供具體的信息，從而使學生能更清楚地理解所教的內(nèi)容。例如，當你教授一種新奇的動物或者植物時，你一般首先提供名稱，然后做些簡單的講解。學生仍然不知所云。但如果提供一個照片，如果條件允許的話，提供一段有關(guān)這種動物或者植物的錄像，會使學生一目了然。,25,6.3.4 多模態(tài)選擇的目標 從經(jīng)濟的角度講，使用單模態(tài)要比用多模態(tài)要簡單、省力，所以使用多模態(tài)進行交際必然要有一定的理由，組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標；形成多模態(tài)選擇的動因可以總結(jié)為一下幾個方面：,26,1. 補缺，一種模態(tài)不足以表達意義，或不能使聽話者理解意義，用另一種來補充剩余的意義，即一種模態(tài)只能體現(xiàn)要表達的部分意義，另一部分需要通過另一種模態(tài)來體現(xiàn)，例如：在較遠的距離內(nèi)或者噪雜的環(huán)境中喊叫某個人時同時打手勢；在幽默圖畫中只提供語境依賴性強的書面話語，或者在錄像中提供同類口頭話語。圖畫沒有文字則不能把整體意義表達出來；同樣錄像沒有口頭話語也會使看者一頭霧水。 2. 強化，一種模態(tài)表達整體意義，另一種來突出部分意義，例如：（重音、黑體、前景圖像、彩色等） 目的：使重點意義突出。,27,3. 吸引注意力，一種模態(tài)表達基本的意義，另一種來更加具體和形象地重現(xiàn)這種意義；例如，用文字標出某個動物或者植物的名稱，用圖像把這種動物或者植物的典型形式表現(xiàn)出來；用語言藝術(shù)、圖像、動作來幽默的表達意義，吸引聽話者的注意力等； 形象 幽默 激發(fā)興趣 目的：使讀者或聽話者把注意力轉(zhuǎn)移到話語交際上來。,28,4.抒發(fā)情感，用一種模態(tài)來表達基本的概念意義，用另一種模態(tài)來表達人際意義，包括態(tài)度、情感、目的等，例如：在用文字描述游行事件的同時，用照片再現(xiàn)當時的場景，用一定的角度和方式把警察表現(xiàn)為邪惡的人，或者用相同的方法把他們表現(xiàn)為英雄，都屬于這一類。 喜愛 憎恨 目的：力圖左右聽話者或者讀者的態(tài)度和價值觀等，使其轉(zhuǎn)向有利于自己的觀點和態(tài)度。,29,5. 易理解，一種模態(tài)表達比較抽象、概括、偏僻、難度特別大、深奧道理或者結(jié)論等，用另一種模態(tài)來提供其實例、說明、關(guān)系等使理解更加容易。例如，在談論龍時，在中國人頭腦中出現(xiàn)的形象是中國雄偉榮耀的、代表皇帝的龍。即使說的是西方的龍，如果不加說明，也是如此；用文字說明則需要很多的話語，但用圖形方式表現(xiàn)出來則十分容易理解，因為根據(jù)形象本身我們就可以發(fā)現(xiàn)，西方的龍是邪惡的化身。這類多模態(tài)的用途還包括用表格表示數(shù)量和關(guān)系、用簡化圖表示理論框架、用流程圖表示進程等。 具體化、形象化、圖形化、關(guān)系化 目的：使所交流的信息易于被聽話者理解和接受，避免模糊和不確定性理解。,30,7.0 結(jié)語,從上所述，系統(tǒng)功能語言學為多模態(tài)話語分析和研究提供了理論基礎。多模態(tài)話語可以從文化、情景、話語意義、語法、形式和媒介多個層次進行研究。 從媒體的角度講，各種不同的非語言媒體，特別是現(xiàn)代技術(shù)媒體，為話語交際提供了大量新的可選擇方式。它們可以通過不同的模態(tài)來實現(xiàn)話語的意義。 在多模態(tài)話語中，不同模態(tài)的話語之間是相互聯(lián)系的，這些關(guān)系我們把它們總結(jié)為互補與非互補；在互補中，又有強化與非強化之分；在非互補關(guān)系中，可以區(qū)分內(nèi)包、交疊與語境互動幾個類別。在語法層面上，每一種模態(tài)都有自己的語法來體現(xiàn)話語意義。,31,本文提出了現(xiàn)代技術(shù)條件下模態(tài)選擇問題 1.模態(tài)選擇的程序：文化語境、情景語境、意義選擇、模態(tài)形式、媒體實體 2.模態(tài)選擇的主導因素：意識形態(tài)、體裁、語域 3.模態(tài)選擇的原則：作為工具、作為助手、作為補充手段 4.模態(tài)選擇的目標：補缺、強化、吸引注意力、抒發(fā)情感、易于理解 將來的研究：一定的話語以什么模態(tài)和媒體表達最為有效，是需要進一步認真研究的課題。,32,參考書目 Sinclair, J. McH. 3-35. Halliday, M.A.K., Hasan, R. 1976: Cohesion in English. London: Longman. Halliday, M.A.K., Hasan, R. 1985: Language, context and text: a socia