張德祿中國(guó)海洋大學(xué)外國(guó)語(yǔ)學(xué)院.ppt

多模態(tài)話語(yǔ)理論與現(xiàn)代媒體技術(shù)在外語(yǔ)教學(xué)中的應(yīng)用,張德祿 中國(guó)海洋大學(xué)外國(guó)語(yǔ)學(xué)院,1,1.0 引言,話語(yǔ)分析轉(zhuǎn)入多模態(tài)話語(yǔ)分析階段:人類的實(shí)際交際過(guò)程：聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)并用 伴語(yǔ)言特征：音響度、聲調(diào)、語(yǔ)調(diào)、音速等; 身體特征:如手勢(shì)、身勢(shì)、面部表情、動(dòng)作、移動(dòng)等 非身體特征：PPT、音響設(shè)備、網(wǎng)絡(luò)、實(shí)驗(yàn)室、周圍的環(huán)境因素等。 首先，根據(jù)系統(tǒng)功能語(yǔ)言學(xué)理論嘗試建立一個(gè)多模態(tài)話語(yǔ)分析的綜合框架； 然后，探討不同的模態(tài)及其之間的關(guān)系； 第三，探討實(shí)現(xiàn)模態(tài)的不同媒體系統(tǒng)； 最后，探討如何在外語(yǔ)教學(xué)中選擇模態(tài)和媒體。,2,多模態(tài)話語(yǔ)：運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。 這種現(xiàn)象司空見(jiàn)慣，自古有之，如詩(shī)歌配上圖畫，說(shuō)話時(shí)打手勢(shì)做鬼臉，使用不同口氣和腔調(diào)等。 系統(tǒng)功能語(yǔ)言學(xué)是最適合于研究多模態(tài)話語(yǔ)的理論模式，其主要原因有以下三個(gè)方面： （1）系統(tǒng)功能語(yǔ)言學(xué)不僅關(guān)心語(yǔ)言內(nèi)部的運(yùn)作機(jī)制，同時(shí)還研究語(yǔ)言外的環(huán)境和動(dòng)因； （2）系統(tǒng)功能語(yǔ)言學(xué)把話語(yǔ)的意義和功能放在首要位置上； （3）意義的實(shí)現(xiàn)是以多模態(tài)形式進(jìn)行的，語(yǔ)言只是這些形式中最有效的一種。,3,2.0 多模態(tài)話語(yǔ)分析的理論基礎(chǔ),系統(tǒng)功能語(yǔ)言學(xué)理論本身不需要做任何改動(dòng)就可以直接作為其理論框架。 這個(gè)框架主要由五個(gè)層面的系統(tǒng)和選擇的基本因素和條件組成(Martin, 1992)。這五個(gè)層面分別是： （1）文化層面，意識(shí)形態(tài)、體裁； （2）語(yǔ)境層面，話語(yǔ)范圍、話語(yǔ)基調(diào)和話語(yǔ)方式 （3）意義層面，概念意義、人際意義和謀篇意義； （4）形式層面，詞匯語(yǔ)法系統(tǒng)，視覺(jué)語(yǔ)法系統(tǒng)，聽(tīng)覺(jué)語(yǔ)法系統(tǒng)，觸覺(jué)語(yǔ)法系統(tǒng)等 （5）媒體層面，語(yǔ)言的和非語(yǔ)言,4,3.0 多模態(tài)話語(yǔ)綜合框架初探,如上所述，系統(tǒng)功能語(yǔ)言學(xué)為多模態(tài)話語(yǔ)分析提供了一個(gè)相對(duì)現(xiàn)成的理論框架。這就是說(shuō)，在語(yǔ)境和交際層面和話語(yǔ)意義層面，單模態(tài)的語(yǔ)言交際和多模態(tài)話語(yǔ)交際并沒(méi)有什么區(qū)別。李姆（Lim, 2004）在研究圖畫與語(yǔ)言形成的多模態(tài)話語(yǔ)時(shí)提供了如下的框架。 在這個(gè)框架中，語(yǔ)言和圖畫作為交際模態(tài)共有意識(shí)形態(tài)、體裁、語(yǔ)域和話語(yǔ)意義四個(gè)層面。 在內(nèi)容層面，圖畫具有視覺(jué)語(yǔ)法，而語(yǔ)言則有詞匯語(yǔ)法； 在表達(dá)層面，語(yǔ)言由印刷符號(hào)體現(xiàn)；圖形由圖形符號(hào)體現(xiàn)。 在這里最主要的研究領(lǐng)域是把兩者在內(nèi)容層面和表達(dá)層面整合為一體，特別是在內(nèi)容層面研究的任務(wù)最重。,5,6,這個(gè)框架是對(duì)語(yǔ)言與圖像所形成的多模態(tài)話語(yǔ)的分析框架，還不是一個(gè)對(duì)所有模態(tài)都適用的框架。但其基本思路是正確的： 第一，他的層次的思想是正確的 第二，不同的模態(tài)涉及由不同的媒體來(lái)體現(xiàn) 第三，不同的模態(tài)需要整合在一起 據(jù)此，我們根據(jù)韓禮德的系統(tǒng)功能語(yǔ)言學(xué)理論，和我們以上研究的結(jié)果，提出了如下的理論框架（見(jiàn)圖二）。,7,8,這個(gè)框架分為四個(gè)層面：文化層面、情景層面、內(nèi)容層面和表達(dá)層面。 文化層面是使多模態(tài)交際成為可能的關(guān)鍵層面。意識(shí)形態(tài)；體裁。 語(yǔ)境層面：話語(yǔ)范圍、話語(yǔ)基調(diào)、話語(yǔ)方式；實(shí)現(xiàn)所選擇的體裁。 話語(yǔ)意義層面，概念意義、人際意義和謀篇意義。 形式層面：視覺(jué)語(yǔ)法、聽(tīng)覺(jué)語(yǔ)法、觸覺(jué)語(yǔ)法等。,9,4.0 多模態(tài)話語(yǔ)的形式及其關(guān)系,4.1 多模態(tài)話語(yǔ)的形式 媒體只有通過(guò)形式層面的組織和模式化才具有直接表達(dá)意義的能力。 形式對(duì)媒介進(jìn)行組織有兩種手段：一是直接賦予某個(gè)媒介符號(hào)某種意義。由這種符號(hào)組成的符號(hào)系統(tǒng)通常沒(méi)有能產(chǎn)性、沒(méi)有任意性； 二是把一定的媒介符號(hào)進(jìn)行組合，然后賦予這種組合一定的意義，這就是語(yǔ)法的作用。由這種符號(hào)和符號(hào)組成規(guī)則形成的符號(hào)系統(tǒng)具有任意性、能產(chǎn)性、雙分性，由三個(gè)層次的代碼組成（媒介、形式（詞匯語(yǔ)法）和意義）。語(yǔ)言屬于這一類。 語(yǔ)言：詞匯語(yǔ)法 圖像：圖符圖形語(yǔ)法 音響：音符聲響語(yǔ)法 接觸：實(shí)體-感觸語(yǔ)法,10,4.2 多模態(tài)話語(yǔ)形式之間的關(guān)系 運(yùn)用多模態(tài)的理由：一種模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來(lái)強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽(tīng)話者理解話語(yǔ)的目的。 關(guān)系：互補(bǔ) vs 非互補(bǔ) 互補(bǔ)：強(qiáng)化（突出、主次、擴(kuò)充） vs 非強(qiáng)化（交叉、聯(lián)合、協(xié)調(diào)） 非互補(bǔ)：交疊（冗余、排斥、抵消）vs 內(nèi)包（部分、具體）vs 語(yǔ)境交互（獨(dú)立vs 依賴）,11,12,5.0 多模態(tài)話語(yǔ)的媒體系統(tǒng),從多模態(tài)話語(yǔ)的角度，我們可以把媒體分為語(yǔ)言媒體和非語(yǔ)言媒體； 3.1語(yǔ)言媒體 傳統(tǒng)媒體：主要兩種，聲波傳導(dǎo)的聲音符號(hào)和由筆、毛刷等生成的書寫符號(hào)。 其他媒體：隨著信息技術(shù)的不斷發(fā)展，其他技術(shù)開(kāi)始用于語(yǔ)言信息的傳播，如計(jì)算機(jī)文字輸入，計(jì)算機(jī)語(yǔ)音識(shí)別等，但最后的傳播媒體仍然是聲音或者字符。 伴隨語(yǔ)言的媒體形式：音響，聲音的大小，音調(diào)，聲音的頻率，口音，口氣等，以及字體形狀、大小、空間的布局等。,13,3.2 非語(yǔ)言媒體 交際者肢體動(dòng)作和交際者在意義表達(dá)中所使用的其他非語(yǔ)言手段，如工具、環(huán)境等。 1.交際者肢體的動(dòng)作可以分為三個(gè)類別： 一、由頭部的移動(dòng)形成的動(dòng)作 二、由手臂和腿形成的媒體符號(hào) 三、軀干的動(dòng)作，如移動(dòng)、比劃、模擬等。 2.非肢體媒體：工具和環(huán)境： 工具:音響設(shè)備， PPT，網(wǎng)絡(luò)設(shè)備，到現(xiàn)在的網(wǎng)絡(luò)平臺(tái)，同聲傳譯室等都是工具性媒體； 環(huán)境: 環(huán)境中已有的任何相關(guān)因素：人和物，有象征意義的符號(hào)等。,14,15,6.0 模態(tài)選擇,6.1 模態(tài)選擇程序 對(duì)多模態(tài)話語(yǔ)理論框架進(jìn)行選擇的基本程序是： 意義選擇：在文化語(yǔ)境中，受意識(shí)形態(tài)的支配和體裁系統(tǒng)的制約，根據(jù)具體的情景語(yǔ)境，選擇要表達(dá)的意義，包括概念意義、人際意義和謀篇意義； 意義體現(xiàn)：所選擇的意義要以合適的模態(tài)表達(dá)出來(lái)：即時(shí)的口語(yǔ)；安靜的手勢(shì)； 同樣，對(duì)多模態(tài)的選擇也是受語(yǔ)境的制約的：噪音聲音+手勢(shì)。,16,不同模態(tài)之間的相互配合問(wèn)題：語(yǔ)義表達(dá)的需要；交際的需要。我們?cè)谶x擇中所要考慮的關(guān)鍵因素是在一定的情景中，如何選擇合適模態(tài)來(lái)有效地表達(dá)所要傳達(dá)的意義。 模態(tài)與媒體基本上是形式和實(shí)體的關(guān)系。模態(tài)語(yǔ)法確定選擇什么樣的媒體。如視覺(jué)語(yǔ)法確定不同視覺(jué)媒體之間的相互配合。例如，課堂教學(xué)：熟悉的事物：語(yǔ)言講解；不熟悉的事物：講解 + 實(shí)物 （圖像等）。,17,6.2 模態(tài)選擇主導(dǎo)因素 在外語(yǔ)教學(xué)中，主導(dǎo)模態(tài)選擇的基本因素是： 話語(yǔ)范圍：所教授的課程的內(nèi)容，包括深度、難度； 話語(yǔ)基調(diào)：老師的個(gè)人特點(diǎn)；學(xué)生的基本特點(diǎn)；交際目的，如傳授知識(shí)、提高能力、提高素質(zhì)等。 話語(yǔ)方式：設(shè)備條件、教學(xué)環(huán)境、傳播渠道等。 教學(xué)目標(biāo)：如是知識(shí)型的：講解+實(shí)例：書本、PPT、口頭講授、回答問(wèn)題等方式。,18,在這個(gè)教學(xué)模式中，要涉及模態(tài)內(nèi)部媒體之間的協(xié)作，如書本與PPT：PPT通過(guò)色彩、光亮、突出的字體等來(lái)強(qiáng)調(diào)重點(diǎn)信息，而書本則可提供具體信息，補(bǔ)充PPT提供的框架中的具體信息。 更重要的是視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)的協(xié)作。從形式上講，每一種模態(tài)都可以是自足的，但只有多種模態(tài)協(xié)作才能收到更好的效果。 這樣從兩種模態(tài)的關(guān)系上講，聽(tīng)覺(jué)是主模態(tài)，主導(dǎo)交際的進(jìn)程；而視覺(jué)模態(tài)則對(duì)聽(tīng)覺(jué)模態(tài)起主要兩個(gè)作用：強(qiáng)化和補(bǔ)充。,19,6.3 模態(tài)選擇的原則 總體原則：充分利用現(xiàn)代媒體技術(shù)，最大限度地充分表達(dá)講話者的意義，取得最佳效果，為更好地利用現(xiàn)代技術(shù)提供一個(gè)合適的理論框架。 基本思路：人類交際中意義的體現(xiàn)具有多模態(tài)特點(diǎn)：在形式層面涉及不同模態(tài)的詞匯語(yǔ)法系統(tǒng)之間的關(guān)系；形式層面由媒體來(lái)體現(xiàn)?，F(xiàn)代媒體技術(shù)都主要是在媒體層面，所以充分利用好現(xiàn)代媒體技術(shù)是重要的研究課題。 在多模態(tài)話語(yǔ)交際框架下，對(duì)模態(tài)的選擇可以從三個(gè)角度進(jìn)行： （1）為外語(yǔ)教學(xué)提供教學(xué)情景和便利條件（工具）； （2）為外語(yǔ)教學(xué)提供輔助條件（助手）； （3）為多模態(tài)話語(yǔ)交際提供多通道話語(yǔ)意義表達(dá)方式（補(bǔ)充）。,20,6.3.1 作為工具 多媒體技術(shù)的發(fā)展實(shí)際上為提供盡可能真實(shí)的語(yǔ)境的提供了便利條件，可以提供圖像、錄像、聲音，作為學(xué)習(xí)的實(shí)際環(huán)境。利用從真實(shí)交際場(chǎng)合中得到的錄像材料作為： （1）學(xué)習(xí)材料，讓學(xué)生了解和認(rèn)識(shí)真實(shí)語(yǔ)境的實(shí)際情況，使獲得的語(yǔ)境知識(shí)更加具體； （2）背景信息，讓學(xué)生與錄像中的交際者在錄像提供的語(yǔ)境中進(jìn)行交際。 發(fā)展現(xiàn)代多媒體技術(shù)的一個(gè)最基本的理念是多模態(tài)交際可以使受話人通過(guò)多通道獲得信息，比單模態(tài)話語(yǔ)更容易使受話者理解和記憶。 如 PPT: 文字、語(yǔ)音、圖形、圖像、錄像：視覺(jué)和聽(tīng)覺(jué),21,6.3.2. 作為助手 為教師提供條件，使他的工作容易進(jìn)行；現(xiàn)代技術(shù)還可以從內(nèi)部提供動(dòng)力，使教師和學(xué)生從內(nèi)心愿意從事這種活動(dòng)，把外因轉(zhuǎn)化為內(nèi)因。 第一，特殊的東西、大的東西、顏色艷麗或者濃的東西更能吸引人們的注意力，這就是突出，把事物前景化。例如，在教學(xué)中在PPT畫面上用藝術(shù)體、黑體、大體字，可以使文字突出；在文字中加上圖片可以更能引起學(xué)生的注意等。 第二，美麗的東西、怪誕的東西、幽默的東西更能引起人們的興趣，提高學(xué)生的參與度，所以，在教學(xué)中，用現(xiàn)代技術(shù)提供美麗的圖片，幽默的簡(jiǎn)筆畫，美麗的環(huán)境介紹可以使學(xué)生積極參與，注意力集中。 第三，有挑戰(zhàn)性的環(huán)境，或?qū)沟沫h(huán)境，或者幽默的環(huán)境，可以激發(fā)人們參與的熱情，如提供一些有一定難度的破解題，謎題；描述一個(gè)對(duì)抗的語(yǔ)境；或者提供一項(xiàng)交際任務(wù)等。,22,6.3.3. 作為補(bǔ)充 模態(tài)的選擇要以增加正效應(yīng)為原則，具體可以包括：互相強(qiáng)化、互相協(xié)調(diào)、前景背景、整體部分（抽象具體）等關(guān)系。 1. 強(qiáng)化關(guān)系 用PPT顯示句子“Peter was killed in a traffic accident”, 并可同時(shí)讀出這個(gè)句子，在PPT畫面上配上皮特發(fā)生車禍的照片，或者放一段發(fā)生車禍的錄像片，配上發(fā)生車禍?zhǔn)堑穆曇舻取?2. 協(xié)調(diào)關(guān)系 協(xié)調(diào)關(guān)系是利用多模態(tài)之間的協(xié)調(diào)性，就是還原人類社會(huì)交際的本來(lái)面目，即由一種媒體不能獨(dú)自完成的交際任務(wù)可以由其他媒體來(lái)補(bǔ)充。例如，在講包括下面一個(gè)對(duì)話的故事時(shí)，如果沒(méi)有圖畫，我們會(huì)不知所云： 1 Big Nutbrown Hare, “I love you as high as I can reach.” Little Nutbrown Hare, “That is quite high. I wish I had arms like that.” 但是如果我們配上圖畫就很容易了，而且還很幽默。,23,24,3. 前景背景關(guān)系 第三種選擇多模態(tài)教學(xué)的依據(jù)是語(yǔ)言交際中的前景和背景的關(guān)系。在外語(yǔ)教學(xué)中，語(yǔ)言交際顯然都是處在前景中，由其他模態(tài)提供背景。例如，在戲劇的開(kāi)始，首先出現(xiàn)一個(gè)布景，提供事件發(fā)生的時(shí)間、地點(diǎn)、環(huán)境，還可以包括人物等。 4. 整體部分（抽象具體）關(guān)系 在多媒體時(shí)代，教師可以通過(guò)選擇合適的媒體來(lái)提供具體的信息，從而使學(xué)生能更清楚地理解所教的內(nèi)容。例如，當(dāng)你教授一種新奇的動(dòng)物或者植物時(shí)，你一般首先提供名稱，然后做些簡(jiǎn)單的講解。學(xué)生仍然不知所云。但如果提供一個(gè)照片，如果條件允許的話，提供一段有關(guān)這種動(dòng)物或者植物的錄像，會(huì)使學(xué)生一目了然。,25,6.3.4 多模態(tài)選擇的目標(biāo) 從經(jīng)濟(jì)的角度講，使用單模態(tài)要比用多模態(tài)要簡(jiǎn)單、省力，所以使用多模態(tài)進(jìn)行交際必然要有一定的理由，組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標(biāo)；形成多模態(tài)選擇的動(dòng)因可以總結(jié)為一下幾個(gè)方面：,26,1. 補(bǔ)缺，一種模態(tài)不足以表達(dá)意義，或不能使聽(tīng)話者理解意義，用另一種來(lái)補(bǔ)充剩余的意義，即一種模態(tài)只能體現(xiàn)要表達(dá)的部分意義，另一部分需要通過(guò)另一種模態(tài)來(lái)體現(xiàn)，例如：在較遠(yuǎn)的距離內(nèi)或者噪雜的環(huán)境中喊叫某個(gè)人時(shí)同時(shí)打手勢(shì)；在幽默圖畫中只提供語(yǔ)境依賴性強(qiáng)的書面話語(yǔ)，或者在錄像中提供同類口頭話語(yǔ)。圖畫沒(méi)有文字則不能把整體意義表達(dá)出來(lái)；同樣錄像沒(méi)有口頭話語(yǔ)也會(huì)使看者一頭霧水。 2. 強(qiáng)化，一種模態(tài)表達(dá)整體意義，另一種來(lái)突出部分意義，例如：（重音、黑體、前景圖像、彩色等） 目的：使重點(diǎn)意義突出。,27,3. 吸引注意力，一種模態(tài)表達(dá)基本的意義，另一種來(lái)更加具體和形象地重現(xiàn)這種意義；例如，用文字標(biāo)出某個(gè)動(dòng)物或者植物的名稱，用圖像把這種動(dòng)物或者植物的典型形式表現(xiàn)出來(lái)；用語(yǔ)言藝術(shù)、圖像、動(dòng)作來(lái)幽默的表達(dá)意義，吸引聽(tīng)話者的注意力等； 形象 幽默 激發(fā)興趣 目的：使讀者或聽(tīng)話者把注意力轉(zhuǎn)移到話語(yǔ)交際上來(lái)。,28,4.抒發(fā)情感，用一種模態(tài)來(lái)表達(dá)基本的概念意義，用另一種模態(tài)來(lái)表達(dá)人際意義，包括態(tài)度、情感、目的等，例如：在用文字描述游行事件的同時(shí)，用照片再現(xiàn)當(dāng)時(shí)的場(chǎng)景，用一定的角度和方式把警察表現(xiàn)為邪惡的人，或者用相同的方法把他們表現(xiàn)為英雄，都屬于這一類。 喜愛(ài) 憎恨 目的：力圖左右聽(tīng)話者或者讀者的態(tài)度和價(jià)值觀等，使其轉(zhuǎn)向有利于自己的觀點(diǎn)和態(tài)度。,29,5. 易理解，一種模態(tài)表達(dá)比較抽象、概括、偏僻、難度特別大、深?yuàn)W道理或者結(jié)論等，用另一種模態(tài)來(lái)提供其實(shí)例、說(shuō)明、關(guān)系等使理解更加容易。例如，在談?wù)擙垥r(shí)，在中國(guó)人頭腦中出現(xiàn)的形象是中國(guó)雄偉榮耀的、代表皇帝的龍。即使說(shuō)的是西方的龍，如果不加說(shuō)明，也是如此；用文字說(shuō)明則需要很多的話語(yǔ)，但用圖形方式表現(xiàn)出來(lái)則十分容易理解，因?yàn)楦鶕?jù)形象本身我們就可以發(fā)現(xiàn)，西方的龍是邪惡的化身。這類多模態(tài)的用途還包括用表格表示數(shù)量和關(guān)系、用簡(jiǎn)化圖表示理論框架、用流程圖表示進(jìn)程等。 具體化、形象化、圖形化、關(guān)系化 目的：使所交流的信息易于被聽(tīng)話者理解和接受，避免模糊和不確定性理解。,30,7.0 結(jié)語(yǔ),從上所述，系統(tǒng)功能語(yǔ)言學(xué)為多模態(tài)話語(yǔ)分析和研究提供了理論基礎(chǔ)。多模態(tài)話語(yǔ)可以從文化、情景、話語(yǔ)意義、語(yǔ)法、形式和媒介多個(gè)層次進(jìn)行研究。 從媒體的角度講，各種不同的非語(yǔ)言媒體，特別是現(xiàn)代技術(shù)媒體，為話語(yǔ)交際提供了大量新的可選擇方式。它們可以通過(guò)不同的模態(tài)來(lái)實(shí)現(xiàn)話語(yǔ)的意義。 在多模態(tài)話語(yǔ)中，不同模態(tài)的話語(yǔ)之間是相互聯(lián)系的，這些關(guān)系我們把它們總結(jié)為互補(bǔ)與非互補(bǔ)；在互補(bǔ)中，又有強(qiáng)化與非強(qiáng)化之分；在非互補(bǔ)關(guān)系中，可以區(qū)分內(nèi)包、交疊與語(yǔ)境互動(dòng)幾個(gè)類別。在語(yǔ)法層面上，每一種模態(tài)都有自己的語(yǔ)法來(lái)體現(xiàn)話語(yǔ)意義。,31,本文提出了現(xiàn)代技術(shù)條件下模態(tài)選擇問(wèn)題 1.模態(tài)選擇的程序：文化語(yǔ)境、情景語(yǔ)境、意義選擇、模態(tài)形式、媒體實(shí)體 2.模態(tài)選擇的主導(dǎo)因素：意識(shí)形態(tài)、體裁、語(yǔ)域 3.模態(tài)選擇的原則：作為工具、作為助手、作為補(bǔ)充手段 4.模態(tài)選擇的目標(biāo)：補(bǔ)缺、強(qiáng)化、吸引注意力、抒發(fā)情感、易于理解 將來(lái)的研究：一定的話語(yǔ)以什么模態(tài)和媒體表達(dá)最為有效，是需要進(jìn)一步認(rèn)真研究的課題。,32,參考書目 Sinclair, J. McH. 3-35. Halliday, M.A.K., Hasan, R. 1976: Cohesion in English. London: Longman. Halliday, M.A.K., Hasan, R. 1985: Language, context and text: a socia