多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法-朱永生.doc

DOI:10.16263/ki .23 -1071/h.2007.05.0342007, No.52007年第 5期外語(yǔ)學(xué)刊總第 138期FOREIGNLANGUAGERESEARCHSerialNo.138話語(yǔ)分析編者按 :話語(yǔ)分析不僅是語(yǔ)言學(xué)關(guān)注的對(duì)象, 而且是語(yǔ)言哲學(xué)、后現(xiàn)代主義等許多人文科學(xué)關(guān)注的焦點(diǎn)。目前, 話語(yǔ)分析可以區(qū)分為批評(píng)話語(yǔ)分析和積極話語(yǔ)分析。其實(shí), 話語(yǔ)分析應(yīng)該以話語(yǔ)為對(duì)象, 或者以語(yǔ)言本身為目的, 或者以人及人的世界為目的。前者屬于語(yǔ)言學(xué), 后者屬于語(yǔ)言哲學(xué), 兩者相互聯(lián)系, 相互支撐。朱永生先生的文章為我國(guó)話語(yǔ)分析的開(kāi)展指明了發(fā)展方向, 而丁建新、廖益清等先生也從不同角度出發(fā), 在話語(yǔ)分析領(lǐng)域進(jìn)行著細(xì)致的耕耘。多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法朱永生(復(fù)旦大學(xué) , 上海 200433)提 要:迄今為止的話語(yǔ)分析基本上局限于語(yǔ)言本身, 即只注意語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系, 忽視了諸如圖象、聲音、顏色、動(dòng)漫等其他意義表現(xiàn)形式。 這就使得話語(yǔ)分析帶有較大的局限性。 20世紀(jì) 90年代, 西方興起的多模態(tài)話語(yǔ)分析, 則可以在很大程度上幫助人們克服這些局限性。 本文將論述與多模態(tài)話語(yǔ)分析緊密相關(guān)的 4個(gè)問(wèn)題:(1)多模態(tài)話語(yǔ)的產(chǎn)生;(2)多模態(tài)話語(yǔ)的定義;(3)多模態(tài)話語(yǔ)分析的性質(zhì)和理論基礎(chǔ);(4)多模態(tài)話語(yǔ)分析的內(nèi)容、方法和意義。關(guān)鍵詞:多模態(tài)話語(yǔ)分析;理論基礎(chǔ);研究方法中圖分類號(hào):B089文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào) :1000 -0100(2007)05 -0082 -5TheoryandMethodologyofMultimodalDiscourseAnalysisZhuYong-sheng(FudanUniversity, Shanghai200433, China) Thediscourseanalysisthathasbeendonesofarislargelyrestrictedtolanguageitself, i.e.attentionhasbeenpaidtothelanguagesystemandsemanticstructureandtheirrelationtocultureandcognition, withotherwaysofmeaningmakingsuchasim-ages, sounds, coloursandflashesignored.Thishasmadediscourseanalysisfarfromcomprehensiveandexhaustive.Multimodal discourseanalysis, whichstartedinthe90softhelastcenturyinthewest, cansolvethisproblemtoagreatextent.Thispaper attemptstodiscussfourissuescloselyrelatedtomultimodaldiscourseanalysis:1)wheremultimodaldiscoursecomesfrom;2) howmultimodaldiscourseisdefined;3)whatisthenatureandtheoreticalbasisofmultimodaldiscourseanalysis;and4)What isthecontent, methodologyandsignificanceofmultimodaldiscourseanalysis.Keywords:multimodaldiscourseanalysis;theoreticalbasis;methodology1 引言言為研究對(duì)象, 即只注意語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本自美國(guó)語(yǔ)言學(xué)家 Haris于 20世紀(jì) 50年代初身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系, 忽視提出話語(yǔ)分析(discourseanalysis)這一研究方向諸如圖象、聲音、顏色、動(dòng)漫等其他意義表現(xiàn)形式。以來(lái), 世界各地的話語(yǔ)分析家作出了很大努力, 提這就使得話語(yǔ)分析帶有較大的局限性。 20 世紀(jì)出了各種各樣的話語(yǔ)分析理論和方法, 通過(guò)大量90年代西方興起的多模態(tài)話語(yǔ)分析(multimodal實(shí)例分析, 解剖了話語(yǔ)活動(dòng)內(nèi)在的規(guī)律以及話語(yǔ)discourseanalysis), 則可以在很大程度上幫助人活動(dòng)與意識(shí)形態(tài)和認(rèn)知模式之間的關(guān)系。 (朱永們克服這些局限性。生 2003)然而, 這些理論和方法, 基本上都是以語(yǔ)本文將論述與多模態(tài)話語(yǔ)分析緊密相關(guān)的 4822007年朱永生 多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法第 5期個(gè)問(wèn)題:(1)多模態(tài)話語(yǔ)的產(chǎn)生;(2)多模態(tài)話語(yǔ)的定義;(3)多模態(tài)話語(yǔ)分析的性質(zhì)和理論基礎(chǔ); (4)多模態(tài)話語(yǔ)分析的內(nèi)容、方法和意義。2多模態(tài)話語(yǔ)的產(chǎn)生2.1感知模態(tài)的產(chǎn)生生命科學(xué)的研究成果告訴我們, 生命體在演化過(guò)程中逐步獲得視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué)等5種不同的感知通道(sensorychannel):(1)靠眼睛獲得的視覺(jué)通道 (visualchannel);(2)靠耳朵獲得的聽(tīng)覺(jué)通道(auditivechannel);(3)靠皮膚獲得的觸覺(jué)通道 (tactilechannel);(4)靠鼻子獲得的嗅覺(jué)通道(olfactorychannel);(5)靠舌頭獲得的味覺(jué)通道 (gustatorychannel)。 這些通道是生命體與周圍環(huán)境進(jìn)行信息交換的界面和路徑。 在殘酷的物競(jìng)天擇面前, 這些感知通道能否相互作用, 對(duì)周圍的一切作出迅速而有效的反應(yīng), 直接影響生命體的生存和繁衍。 生物學(xué)家們認(rèn)為, 上述5種感知渠道的獲得分別導(dǎo)致以下 5種交際模態(tài)的產(chǎn)生:視覺(jué)模態(tài)(visualmodality)、聽(tīng)覺(jué)模態(tài)(au-ditivemodality)、觸覺(jué)模態(tài)(tactilemodality)、嗅覺(jué)模態(tài) (olfacotrymodality)和味覺(jué)模態(tài) (gustatory modality)。在上述模態(tài)中, 與話語(yǔ)分析關(guān)系最緊密的是視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)。 近年來(lái), 由于科學(xué)技術(shù)的發(fā)展, 觸覺(jué)模態(tài)、嗅覺(jué)模態(tài)和味覺(jué)模態(tài)也開(kāi)始用于話語(yǔ)交際。 這里僅以觸覺(jué)模態(tài)為例, 隨著數(shù)據(jù)手套(dataglove)的問(wèn)世, 人們可以依靠傳遞手指的彎曲角度, 打出各種各樣的三維手勢(shì), 把語(yǔ)言和手勢(shì)結(jié)合起來(lái), 從而使人機(jī)對(duì)話更加接近于自然的人際對(duì)話。2.2模式、媒介與模態(tài)的差別在多模態(tài)話語(yǔ)分析中, 模式 (mode)、媒介(medium)與模態(tài)(modality)三個(gè)詞語(yǔ)經(jīng)常出現(xiàn)。由于彼此之間在意義上有一定的聯(lián)系, 但界限并不十分明確, 容易造成混亂和誤解, 有必要對(duì)它們各自的含義進(jìn)行說(shuō)明。一般來(lái)說(shuō), 模式指系統(tǒng)功能語(yǔ)言學(xué)家所說(shuō)的與話語(yǔ)范圍(fieldofdiscourse)和話語(yǔ)基調(diào)(tenor ofdiscourse)并列的語(yǔ)境三要素之一的話語(yǔ)模式(modeofdiscourse), 意指交流渠道 (channelof communication), 如口頭模式(spokenmode)、書(shū)面模式(writenmode)、電子模式 (electronicmode)等。這些模式的使用和變化在一定程度上影響信息的流動(dòng) (informationflow), 最終影響語(yǔ)篇性(texture)(語(yǔ)篇應(yīng)該具備的特征)。 媒介指語(yǔ)言交際所使用的技術(shù)(technology), 從嚴(yán)格的語(yǔ)言學(xué)和符號(hào)學(xué)意義上來(lái)看, 算不上一個(gè)術(shù)語(yǔ)。模態(tài)和情態(tài)一樣, 在英語(yǔ)中都叫做 modality, 但兩者所指不同。 情態(tài)指語(yǔ)言系統(tǒng)中講話者對(duì)事物的或然性(probability)進(jìn)行判斷和事物的必要性(necessi-ty)表明態(tài)度的語(yǔ)義系統(tǒng), 而模態(tài)則指交流的渠道和媒介, 包括語(yǔ)言、技術(shù)、圖象、顏色、音樂(lè)等符號(hào)系統(tǒng)。3多模態(tài)話語(yǔ)的性質(zhì)和識(shí)別標(biāo)準(zhǔn)我們認(rèn)為, 多模態(tài)話語(yǔ)就其性質(zhì)而言是人類感知通道在交際過(guò)程中綜合使用的結(jié)果。 因此,多模態(tài)話語(yǔ)分析不應(yīng)該局限于語(yǔ)言學(xué)的研究范圍, 而應(yīng)該是跨學(xué)科的。事實(shí)上, 經(jīng)過(guò)十多年的發(fā)展, 多模態(tài)分析已經(jīng)超越了語(yǔ)言學(xué)的藩籬, 擴(kuò)展到符號(hào)學(xué)、哲學(xué)、社會(huì)學(xué)、人類學(xué)、政治學(xué)、新聞學(xué)、心理學(xué)、法學(xué)、美學(xué)和醫(yī)學(xué)等領(lǐng)域, 研究對(duì)象也從語(yǔ)言文字?jǐn)U展到音樂(lè)、圖片、影像、網(wǎng)頁(yè)設(shè)計(jì)和建筑風(fēng)格等多種社會(huì)符號(hào)系統(tǒng)。多模態(tài)話語(yǔ)如何識(shí)別? 我們認(rèn)為, 不外乎兩個(gè)判斷標(biāo)準(zhǔn)。第一條標(biāo)準(zhǔn)是看涉及的模態(tài)種類有多少, 這是當(dāng)前語(yǔ)言學(xué)界普遍認(rèn)可的標(biāo)準(zhǔn)。 只使用一種模態(tài)的話語(yǔ)叫做 “ 單模態(tài)話語(yǔ) ” (monomodaldis-course), 如使用聽(tīng)覺(jué)模態(tài)收聽(tīng)新聞廣播或使用視覺(jué)模態(tài)閱讀小說(shuō)。同時(shí)使用兩種或兩種以上模態(tài)的話語(yǔ)叫做 “ 多模態(tài)話語(yǔ) ” (multimodaldis-course), 也有人把同時(shí)使用兩種模態(tài)的話語(yǔ)叫做“雙模態(tài)話語(yǔ)”(bimodaldiscourse)。 同時(shí)使用兩種模態(tài)的例子有使用可視電話進(jìn)行交際時(shí), 交際雙方都需要用耳朵聽(tīng)對(duì)方的講話內(nèi)容, 用眼睛看對(duì)方的表情變化和手勢(shì)變化。 同時(shí)使用三種或三種以上模態(tài)的例子很多。 在日常生活中, 我們使用手機(jī)交流時(shí), 需要用耳朵聽(tīng), 用嘴講, 用筆寫(xiě)信息, 用手發(fā)信息;電腦上網(wǎng)時(shí), 需要用眼睛看屏幕上顯示的文字和圖象, 用耳朵聽(tīng)文字的錄音和圖象發(fā)出的聲音, 在技術(shù)允許的條件下還可以用鼻子聞到電腦里發(fā)出的某種氣味。技術(shù)含量更高的是美 ATT貝爾實(shí)驗(yàn)室設(shè)計(jì)的 HuMaNet系統(tǒng), 這個(gè)系統(tǒng)能使異地客戶召開(kāi)會(huì)議時(shí)同時(shí)獲得聲音、文字、數(shù)據(jù)和圖象。第二條標(biāo)準(zhǔn)是看涉及的符號(hào)系統(tǒng)有多少。 有些話語(yǔ)雖然只涉及一種模態(tài), 但包含兩個(gè)或兩個(gè)以上的符號(hào)系統(tǒng), 如連環(huán)畫(huà)雖然只涉及視覺(jué)模態(tài),但既有文字又有圖畫(huà);廣播小說(shuō)雖然只涉及聽(tīng)覺(jué)模態(tài), 但既有文字內(nèi)容又有背景音樂(lè)。我們也把832007年朱永生 多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法第 5期這些話語(yǔ)看作是多模態(tài)話語(yǔ)。 (至于手勢(shì)語(yǔ)、面部表情和身勢(shì)語(yǔ)等副語(yǔ)言(paralanguage), 我們既可以把它們看作語(yǔ)言, 也可以看作另一種模態(tài)。)4多模態(tài)話語(yǔ)分析的理論基礎(chǔ)雖然多模態(tài)話語(yǔ)分析也從皮爾斯等人的符號(hào)學(xué)理論中吸取了媒介、對(duì)象、解釋三位一體等理念, 但其主要理論基礎(chǔ)卻是 Haliday創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)(Haliday1978, 1985/1994;HalidayMathiessen2004)。 具體地說(shuō), 多模態(tài)話語(yǔ)分析從系統(tǒng)功能語(yǔ)言學(xué)那里接受了語(yǔ)言是社會(huì)符號(hào)(socialsemiotic)和意義潛勢(shì)(meaningpotential)的觀點(diǎn), 認(rèn)為語(yǔ)言以外的其他符號(hào)系統(tǒng)也是意義的源泉;接受了系統(tǒng)理論, 認(rèn)為多模態(tài)話語(yǔ)本身也具有系統(tǒng)性;接受了純理功能假說(shuō)(metafunction hypothesis), 認(rèn)為多模態(tài)話語(yǔ)與只包含語(yǔ)言符號(hào)的話語(yǔ)一樣, 也具有多功能性, 即同時(shí)具有概念功能、人際功能和語(yǔ)篇功能;接受了語(yǔ)域 (register) 理論, 認(rèn)為語(yǔ)境因素和多模態(tài)話語(yǔ)的意義解讀之間有著密不可分的聯(lián)系。由于多模態(tài)話語(yǔ)分析深受系統(tǒng)功能語(yǔ)言學(xué)和符號(hào)學(xué)的影響, 我們可以把它叫做系統(tǒng)功能符號(hào)學(xué)(systemic-functionalsemiotics)。 系統(tǒng)功能語(yǔ)言學(xué)則可看作系統(tǒng)功能符號(hào)學(xué)的一個(gè)分支。5多模態(tài)話語(yǔ)分析的內(nèi)容、方法與意義5.1內(nèi)容把語(yǔ)言學(xué)理論應(yīng)用于符號(hào)學(xué)(尤其是視覺(jué)符號(hào)研究)研究早就開(kāi)始了。 例如, 布拉格學(xué)派把“前景化”(foregrounding)概念應(yīng)用于美術(shù)、戲劇、電影和服飾研究;巴黎學(xué)派把索緒爾有關(guān)“語(yǔ)言”與“言語(yǔ)”、“能指”和“所指” 、“任意”與“理?yè)?jù)”等理論應(yīng)用于繪畫(huà)、攝影、時(shí)裝、電影和音樂(lè)研究;批評(píng)語(yǔ)言學(xué)派和系統(tǒng)功能符號(hào)學(xué)派把 Haliday的系統(tǒng)功能語(yǔ)言學(xué)理論應(yīng)用于新聞、文學(xué)和音樂(lè)等領(lǐng)域的研究等。多模態(tài)話語(yǔ)分析關(guān)心的課題很多, 學(xué)者們的看法也不盡相同。 這里僅列舉幾種有代表性的意見(jiàn)。Simpson對(duì)一次以多模態(tài)化為主題的國(guó)際應(yīng)用語(yǔ)言學(xué)研究會(huì)的議題進(jìn)行歸納, 指出多模態(tài)話語(yǔ)分析主要涉及如下幾個(gè)方面:(1)多模態(tài)化和新的媒體;(2)在學(xué)術(shù)和教育情境下的多模態(tài)化的應(yīng)用;(3)多模態(tài)化與識(shí)讀實(shí)踐;(4)多模態(tài)化語(yǔ)料庫(kù)的建立;(5)多模態(tài)化和類型學(xué);(6)多模態(tài)化話語(yǔ)分析及其理論問(wèn)題。 (Simpson2003)BaldryThibault則列出 6個(gè)課題:(1)什么叫多模態(tài)語(yǔ)篇;(2)如何對(duì)這些語(yǔ)篇進(jìn)行轉(zhuǎn)錄和分析;(3)對(duì)多模態(tài)語(yǔ)篇進(jìn)行分析或建立多模態(tài)語(yǔ)篇語(yǔ)料庫(kù)時(shí)需要哪些技術(shù);(4)把多媒體的意義生成資源(meaning-makingresources)綜合應(yīng)用到超級(jí)語(yǔ)篇(hypertext)后怎樣才能使我們的意義生成潛能(meaning-makingpotential)成倍地增加; (5)在我們所處的電子學(xué)習(xí)時(shí)代, 如何使語(yǔ)言研究與多模態(tài)和多媒體聯(lián)系起來(lái);(6)多模態(tài)話語(yǔ)分析能以什么方式、在多大程度上給語(yǔ)言學(xué)帶來(lái)新的變化。 (BaldryThibault2006)此外, LeVine Scolon(2004)主張?jiān)谏鐣?huì)、教育和工作場(chǎng)所等不同的語(yǔ)境中開(kāi)展多模態(tài)化話語(yǔ)分析(胡壯麟 2007)。 O Haloran Jewit則認(rèn)為, 語(yǔ)言學(xué)家應(yīng)該關(guān)注多模態(tài)語(yǔ)篇與多種交際模式合成(如語(yǔ)言、動(dòng)態(tài)圖象和靜態(tài)圖象, 外加三維物體)的話語(yǔ)之間在意義表達(dá)和理解上的關(guān)系(O HaloranJewit2006)。 研究的具體內(nèi)容包括這些模態(tài)的步驟(phase)、過(guò)渡(transition)、攝影(camera)、身體移動(dòng)(bodymovement)、印刷版式(typography)以及這些模態(tài)的選擇和使用是如何引導(dǎo)讀者理解語(yǔ)篇和語(yǔ)境意義的。正如信息學(xué)家在發(fā)明和應(yīng)用多模態(tài)技術(shù)時(shí)不僅要使多模態(tài)相互結(jié)合而且相互配合, 語(yǔ)言學(xué)家在進(jìn)行多模態(tài)話語(yǔ)分析時(shí)不僅要研究每個(gè)模態(tài)本身對(duì)話語(yǔ)意義的產(chǎn)生有何作用, 而且要研究所涉及的所有模態(tài)之間是如何互動(dòng), 從而使語(yǔ)篇獲得更多的意義(en-hancedmeaning)的。5.2方法要正確解讀多模態(tài)話語(yǔ)的意義, 須要掌握兩個(gè)要領(lǐng)。第一個(gè)要領(lǐng)是確定不同成分之間的語(yǔ)法關(guān)系。一講到語(yǔ)法, 人們自然會(huì)想到如何把單詞連成句子的規(guī)則, 很少考慮到視覺(jué)符號(hào)系統(tǒng)中單個(gè)元素相互組合時(shí)是否也有章可循。 回顧符號(hào)學(xué)的研究歷史, 視覺(jué)符號(hào)(visualsemiotic)研究占據(jù)了十分重要的地位, 但這類研究基本上都集中在圖象、人物、事物和地點(diǎn)等元素的外延和內(nèi)涵以及象征意義上, 這在很大程度上相當(dāng)于語(yǔ)言學(xué)中的詞匯研究, 符號(hào)之間的“語(yǔ)法”關(guān)系被忽視了。 那么, 如何確定多模態(tài)話語(yǔ)的語(yǔ)法關(guān)系呢? KressLeeuwen認(rèn)為, 圖象中的視覺(jué)符號(hào)不僅可以反映客觀世界和主觀世界發(fā)生的各種事件, 而且可以表現(xiàn)各種各樣的人際關(guān)系, 與此同時(shí)視覺(jué)符號(hào)內(nèi)部也是一個(gè)有機(jī)的連貫的整體, 因此可以借用Haliday的語(yǔ)言三大功能假說(shuō), 分別從概念功能、人際功能和語(yǔ)篇功能三個(gè)不同的層面分析圖象等842007年朱永生 多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法第 5期視覺(jué)符號(hào)的語(yǔ)義關(guān)系 (Kress Leeuwen2003)。在概念意義層面上, 我們可以探討不同的圖象之間或同一個(gè)圖象中不同成分之間有何聯(lián)系, 哪個(gè)成分相當(dāng)于及物系統(tǒng)中的行為者(actor), 哪個(gè)成分充當(dāng)對(duì)象(goal), 哪個(gè)成分表示環(huán)境 (circum-stance)。 在人際意義層面上, 我們可以探討圖象中參與者之間的社會(huì)關(guān)系、圖象設(shè)計(jì)者的交際目的以及圖象解讀者本身對(duì)圖象內(nèi)容的介入 (in-volvement)程度。在語(yǔ)篇意義層面上, 我們可以根據(jù)同一個(gè)圖象中不同成分之間或不同圖象之間所處的相對(duì)位置(如上下、前后、中心邊緣關(guān)系)等版面安排的具體情況, 分析多模態(tài)話語(yǔ)的信息分布(informationdistribution), 確認(rèn)哪些成分是已知信息(giveninformation), 哪些成分是新信息(new information), 從而認(rèn)清哪些信息是多模態(tài)話語(yǔ)的起點(diǎn)(pointofdeparture), 哪些信息是多模態(tài)話語(yǔ)想要傳遞的信息焦點(diǎn)(informationfocus)。第二個(gè)要領(lǐng)是要弄清文字和圖象之間的關(guān)系。這方面, 學(xué)術(shù)界的看法不盡相同。 如 Barthes 認(rèn)為, 圖象和文字說(shuō)明是關(guān)聯(lián)的, 然而由于圖象本身的意義飄忽不定, 必須借助文字說(shuō)明才能確定(Barthes1967, 1977)。 而 Kress Leeuwen卻認(rèn)為, 圖象和文字說(shuō)明是有聯(lián)系的, 但并不依賴文字說(shuō)明, 因?yàn)樗旧砑仁怯薪M織的(organized), 又是有結(jié)構(gòu)的(structured)(Kress Leeuwen2006)。這就要求我們對(duì)兩者的互補(bǔ)作用進(jìn)行深入的研究。此外, KressLeeuwen還告戒我們, “視覺(jué)結(jié)構(gòu)并不只是對(duì)現(xiàn)實(shí) 結(jié)構(gòu)進(jìn)行復(fù)制。恰恰相反,它們生成的現(xiàn)實(shí)世界的各種圖象, 與那些生成、傳播和閱讀這些圖象的社會(huì)機(jī)構(gòu)的利益是緊緊聯(lián)系在一起的。 它們是表達(dá)意識(shí)形態(tài)的。 視覺(jué)結(jié)構(gòu)絕不只是形式的, 它們?cè)谡Z(yǔ)義上也是非常重要的”(KressLeeuwen2006:47)。這意味著圖象和語(yǔ)言一樣, 對(duì)社會(huì)現(xiàn)實(shí)和心理現(xiàn)實(shí)既具有復(fù)制作用,又具有重新建構(gòu)的作用。5.3意義回顧迄今為止的話語(yǔ)分析, 幾乎都是以文本為基礎(chǔ)的。 這可能是一個(gè)方向性的錯(cuò)誤。 Sau-ssure(1916)早就明確指出, 實(shí)際使用的話語(yǔ)才是語(yǔ)言學(xué)真正須要研究的對(duì)象, 基于文本的語(yǔ)言形式和結(jié)構(gòu)研究并不能從根本上解決語(yǔ)言學(xué)家想要解決的問(wèn)題。 Haliday(1978), Haliday Hasan (1985), Chafe(1994)等人也持有相同的觀點(diǎn)。我們認(rèn)為有必要將語(yǔ)言研究的重心轉(zhuǎn)移到自然狀態(tài)下的話語(yǔ)上來(lái), 特別是現(xiàn)場(chǎng)即席口語(yǔ)會(huì)話。 而人們?cè)诰唧w的社會(huì)情境中, 總是運(yùn)用多種多樣的符號(hào)資源完成意義建構(gòu)(Kressetal2001)。 這就是說(shuō), 自然狀態(tài)下發(fā)生的話語(yǔ)活動(dòng)往往具有多模態(tài)性(multimodality)。以前由于科學(xué)技術(shù)的限制,很少有人從多模態(tài)角度分析話語(yǔ)。如今, 隨著多媒體技術(shù)和語(yǔ)料庫(kù)的迅速發(fā)展, 對(duì)自然話語(yǔ)進(jìn)行多模態(tài)研究已經(jīng)成為可能。多模態(tài)話語(yǔ)分析的意義在于它可以將語(yǔ)言和其他相關(guān)的意義資源整合起來(lái)(Gibbon2000), 它不僅可以看到語(yǔ)言系統(tǒng)在意義交換過(guò)程中所發(fā)揮的作用, 而且可以看到諸如圖象、音樂(lè)、顏色等其他符號(hào)系統(tǒng)在這個(gè)過(guò)程中所產(chǎn)生的效果, 從而使話語(yǔ)意義的解讀更加全面、更加準(zhǔn)確, 進(jìn)而發(fā)現(xiàn)人類如何綜合使用多種模態(tài)達(dá)到社會(huì)交際的目的?？梢哉f(shuō), 這類話語(yǔ)分析既可以推動(dòng)我們對(duì)語(yǔ)言學(xué)的研究, 同時(shí)也可以加深對(duì)符號(hào)學(xué)的認(rèn)識(shí)(胡壯麟 2007)。6不足之處與今后走向多模態(tài)話語(yǔ)分析目前還處于起始階段, 在如下三個(gè)方面存在一些不足。 第一, 語(yǔ)法分析的主觀性太強(qiáng)。 以文本為基礎(chǔ)的語(yǔ)法分析, 盡管也需要分析者對(duì)句子意義結(jié)構(gòu)的理解, 但一般都可以提供嚴(yán)格意義上的語(yǔ)法依據(jù), 而多模態(tài)話語(yǔ)分析中的語(yǔ)法分析由于缺乏嚴(yán)格語(yǔ)法意義上的標(biāo)記和線性關(guān)系, 因此帶有很強(qiáng)的主觀性, 即在很大程度上依靠分析者本人對(duì)不同組成部分之間語(yǔ)義關(guān)系的理解。在面對(duì)同樣兩個(gè)或更多的成分時(shí), 不同的人可能會(huì)因?yàn)槲幕尘安煌?、知識(shí)結(jié)構(gòu)不同, 甚至解讀動(dòng)機(jī)不同進(jìn)行不同的分析, 從而得出不同的結(jié)論。第二, 與第一個(gè)不足之處相關(guān)的是各種模態(tài)之間的互動(dòng)關(guān)系和互補(bǔ)作用難以確定。多模態(tài)話語(yǔ)中往往由多種系統(tǒng)構(gòu)成, 而每個(gè)系統(tǒng)中又有很多單個(gè)的成分。 這些成分當(dāng)中, 哪些對(duì)解讀有價(jià)值, 哪些沒(méi)有價(jià)值, 也是不容易確定的因素。第三, 迄今為止, 從事多模態(tài)話語(yǔ)分析的絕大多數(shù)是系統(tǒng)功能語(yǔ)言學(xué)家, 而多模態(tài)話語(yǔ)分析是跨學(xué)科的, 僅僅依靠語(yǔ)言學(xué)的一個(gè)流派是遠(yuǎn)遠(yuǎn)不夠的。只有其他學(xué)科的學(xué)者共同參與, 多模態(tài)話語(yǔ)的意義才能得到更加全面而正確的解讀。值得高興的是, 雖然多模態(tài)技術(shù)還處于研發(fā)階段, 但已經(jīng)對(duì)多模態(tài)話語(yǔ)的收集、轉(zhuǎn)錄和分析以及社會(huì)交際的方式和作用產(chǎn)生了影響。隨著科學(xué)技術(shù)的進(jìn)一步發(fā)展, 人們認(rèn)識(shí)世界的水平將越來(lái)越高。 根據(jù)現(xiàn)有的資料, 我們可以預(yù)測(cè), 多模態(tài)話語(yǔ)分析將呈現(xiàn)兩個(gè)比較明顯的趨勢(shì)。第一個(gè)趨勢(shì)是對(duì)多模態(tài)互補(bǔ)作用的更加關(guān)注, 如語(yǔ)篇與圖象852007年朱永生 多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法第 5期的互補(bǔ), 說(shuō)話與手勢(shì)的互補(bǔ), 面部表情與語(yǔ)音識(shí)別(speechrecognition)的互補(bǔ), 面部表情與語(yǔ)音綜合(speechsynthesis)的互補(bǔ)等。 第二個(gè)趨勢(shì)是復(fù)雜程度的提高, 如從二維話語(yǔ)分析走向三維話語(yǔ)分析, 從靜態(tài)研究走向動(dòng)態(tài)研究等。我們相信, 此類研究必將進(jìn)一步推動(dòng)話語(yǔ)分析乃至整個(gè)語(yǔ)言學(xué)的發(fā)展。 目前處于落后地位的我國(guó)語(yǔ)言學(xué)界須要迎頭趕上, 做出自己應(yīng)有的貢獻(xiàn)。參考文獻(xiàn)胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化 J .語(yǔ)言教學(xué)與研究, 2007(1).朱永生.話語(yǔ)分析 50年 J .外國(guó)語(yǔ), 2003(3).Baldry, A.P.J.Thibault.MultimodalTranscriptionandTextAnalysis M .London:EquinoxPublishing, 2006.Barthes,R.ElementsofSemiology M .London:Cape,1967.Barthes,R. Image-Music-Text M . London: Fontana,1977.Chafe, W.Discourse, Consciousness,andTime M .Chica-go:UniversityofChicagoPress,1994.Gibbon,Dafydd,IngeMertinsRogerK.Moore.HandbookofMultimodalandSpokenDialogueSystems M .Bos-ton:KluwerAcademicPublishers, 2000.Halliday,M.A.K.LanguageasaSocialSemiotic M .London:Arnold, 1978.Halliday,M.A.K.AnIntroductiontoFunctionalGrammar M .London:Arnold, 1985/1994.Halliday,M.M.K. C.Matthiessen.AnIntroductiontoFunctionalGrammar M .London:Arnold, 2004.Kress, G. Leeuwen,TheoVan.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication M .London:Arnold, 2003.Kress, G. Leeuwen,TheoVan(2nd Edition).ReadingImages:TheGrammarofVisualDesign M .London:Routledge,2006.Leeuwen,TheoVan.AMultimodalPerspectiveonComposi-tion. A .InEnsink, TitusandChristoph Sauer收稿日期:2006 -12 -28(eds.), FramingandPerspectivisinginDiscourse C .Amsterdam, PA:JohnBenjaminsPub, 2003.Leeuwen,TheoVan. ThreeModelsofInterdisciplinarity A .InWodak, RuthandPaulChilton(eds.), ANewAgendain(Critical)DiscourseAnalysis C .Am-sterdam, PA:JohnBenjaminsPub,2005.Leeuwen,TheoVan.TowardsaSemioticsofTypography J .InformationDesignJournal,2006(2).Leeuwen,TheoVan Adam Jaworski.TheDiscoursesofWarPhotography:PhotojournalisticRepres