多模態(tài)話語分析的理論基礎(chǔ)與研究方法-朱永生.doc

DOI:10.16263/ki .23 -1071/h.2007.05.0342007, No.52007年第 5期外語學(xué)刊總第 138期FOREIGNLANGUAGERESEARCHSerialNo.138話語分析編者按 :話語分析不僅是語言學(xué)關(guān)注的對象, 而且是語言哲學(xué)、后現(xiàn)代主義等許多人文科學(xué)關(guān)注的焦點(diǎn)。目前, 話語分析可以區(qū)分為批評話語分析和積極話語分析。其實(shí), 話語分析應(yīng)該以話語為對象, 或者以語言本身為目的, 或者以人及人的世界為目的。前者屬于語言學(xué), 后者屬于語言哲學(xué), 兩者相互聯(lián)系, 相互支撐。朱永生先生的文章為我國話語分析的開展指明了發(fā)展方向, 而丁建新、廖益清等先生也從不同角度出發(fā), 在話語分析領(lǐng)域進(jìn)行著細(xì)致的耕耘。多模態(tài)話語分析的理論基礎(chǔ)與研究方法朱永生(復(fù)旦大學(xué) , 上海 200433)提 要:迄今為止的話語分析基本上局限于語言本身, 即只注意語言系統(tǒng)和語義結(jié)構(gòu)本身及其與社會文化和心理認(rèn)知之間的關(guān)系, 忽視了諸如圖象、聲音、顏色、動漫等其他意義表現(xiàn)形式。 這就使得話語分析帶有較大的局限性。 20世紀(jì) 90年代, 西方興起的多模態(tài)話語分析, 則可以在很大程度上幫助人們克服這些局限性。 本文將論述與多模態(tài)話語分析緊密相關(guān)的 4個(gè)問題:(1)多模態(tài)話語的產(chǎn)生;(2)多模態(tài)話語的定義;(3)多模態(tài)話語分析的性質(zhì)和理論基礎(chǔ);(4)多模態(tài)話語分析的內(nèi)容、方法和意義。關(guān)鍵詞:多模態(tài)話語分析;理論基礎(chǔ);研究方法中圖分類號:B089文獻(xiàn)標(biāo)識碼:A文章編號 :1000 -0100(2007)05 -0082 -5TheoryandMethodologyofMultimodalDiscourseAnalysisZhuYong-sheng(FudanUniversity, Shanghai200433, China) Thediscourseanalysisthathasbeendonesofarislargelyrestrictedtolanguageitself, i.e.attentionhasbeenpaidtothelanguagesystemandsemanticstructureandtheirrelationtocultureandcognition, withotherwaysofmeaningmakingsuchasim-ages, sounds, coloursandflashesignored.Thishasmadediscourseanalysisfarfromcomprehensiveandexhaustive.Multimodal discourseanalysis, whichstartedinthe90softhelastcenturyinthewest, cansolvethisproblemtoagreatextent.Thispaper attemptstodiscussfourissuescloselyrelatedtomultimodaldiscourseanalysis:1)wheremultimodaldiscoursecomesfrom;2) howmultimodaldiscourseisdefined;3)whatisthenatureandtheoreticalbasisofmultimodaldiscourseanalysis;and4)What isthecontent, methodologyandsignificanceofmultimodaldiscourseanalysis.Keywords:multimodaldiscourseanalysis;theoreticalbasis;methodology1 引言言為研究對象, 即只注意語言系統(tǒng)和語義結(jié)構(gòu)本自美國語言學(xué)家 Haris于 20世紀(jì) 50年代初身及其與社會文化和心理認(rèn)知之間的關(guān)系, 忽視提出話語分析(discourseanalysis)這一研究方向諸如圖象、聲音、顏色、動漫等其他意義表現(xiàn)形式。以來, 世界各地的話語分析家作出了很大努力, 提這就使得話語分析帶有較大的局限性。 20 世紀(jì)出了各種各樣的話語分析理論和方法, 通過大量90年代西方興起的多模態(tài)話語分析(multimodal實(shí)例分析, 解剖了話語活動內(nèi)在的規(guī)律以及話語discourseanalysis), 則可以在很大程度上幫助人活動與意識形態(tài)和認(rèn)知模式之間的關(guān)系。 (朱永們克服這些局限性。生 2003)然而, 這些理論和方法, 基本上都是以語本文將論述與多模態(tài)話語分析緊密相關(guān)的 4822007年朱永生 多模態(tài)話語分析的理論基礎(chǔ)與研究方法第 5期個(gè)問題:(1)多模態(tài)話語的產(chǎn)生;(2)多模態(tài)話語的定義;(3)多模態(tài)話語分析的性質(zhì)和理論基礎(chǔ); (4)多模態(tài)話語分析的內(nèi)容、方法和意義。2多模態(tài)話語的產(chǎn)生2.1感知模態(tài)的產(chǎn)生生命科學(xué)的研究成果告訴我們, 生命體在演化過程中逐步獲得視覺、聽覺、嗅覺、味覺、觸覺等5種不同的感知通道(sensorychannel):(1)靠眼睛獲得的視覺通道 (visualchannel);(2)靠耳朵獲得的聽覺通道(auditivechannel);(3)靠皮膚獲得的觸覺通道 (tactilechannel);(4)靠鼻子獲得的嗅覺通道(olfactorychannel);(5)靠舌頭獲得的味覺通道 (gustatorychannel)。 這些通道是生命體與周圍環(huán)境進(jìn)行信息交換的界面和路徑。 在殘酷的物競天擇面前, 這些感知通道能否相互作用, 對周圍的一切作出迅速而有效的反應(yīng), 直接影響生命體的生存和繁衍。 生物學(xué)家們認(rèn)為, 上述5種感知渠道的獲得分別導(dǎo)致以下 5種交際模態(tài)的產(chǎn)生:視覺模態(tài)(visualmodality)、聽覺模態(tài)(au-ditivemodality)、觸覺模態(tài)(tactilemodality)、嗅覺模態(tài) (olfacotrymodality)和味覺模態(tài) (gustatory modality)。在上述模態(tài)中, 與話語分析關(guān)系最緊密的是視覺模態(tài)和聽覺模態(tài)。 近年來, 由于科學(xué)技術(shù)的發(fā)展, 觸覺模態(tài)、嗅覺模態(tài)和味覺模態(tài)也開始用于話語交際。 這里僅以觸覺模態(tài)為例, 隨著數(shù)據(jù)手套(dataglove)的問世, 人們可以依靠傳遞手指的彎曲角度, 打出各種各樣的三維手勢, 把語言和手勢結(jié)合起來, 從而使人機(jī)對話更加接近于自然的人際對話。2.2模式、媒介與模態(tài)的差別在多模態(tài)話語分析中, 模式 (mode)、媒介(medium)與模態(tài)(modality)三個(gè)詞語經(jīng)常出現(xiàn)。由于彼此之間在意義上有一定的聯(lián)系, 但界限并不十分明確, 容易造成混亂和誤解, 有必要對它們各自的含義進(jìn)行說明。一般來說, 模式指系統(tǒng)功能語言學(xué)家所說的與話語范圍(fieldofdiscourse)和話語基調(diào)(tenor ofdiscourse)并列的語境三要素之一的話語模式(modeofdiscourse), 意指交流渠道 (channelof communication), 如口頭模式(spokenmode)、書面模式(writenmode)、電子模式 (electronicmode)等。這些模式的使用和變化在一定程度上影響信息的流動 (informationflow), 最終影響語篇性(texture)(語篇應(yīng)該具備的特征)。 媒介指語言交際所使用的技術(shù)(technology), 從嚴(yán)格的語言學(xué)和符號學(xué)意義上來看, 算不上一個(gè)術(shù)語。模態(tài)和情態(tài)一樣, 在英語中都叫做 modality, 但兩者所指不同。 情態(tài)指語言系統(tǒng)中講話者對事物的或然性(probability)進(jìn)行判斷和事物的必要性(necessi-ty)表明態(tài)度的語義系統(tǒng), 而模態(tài)則指交流的渠道和媒介, 包括語言、技術(shù)、圖象、顏色、音樂等符號系統(tǒng)。3多模態(tài)話語的性質(zhì)和識別標(biāo)準(zhǔn)我們認(rèn)為, 多模態(tài)話語就其性質(zhì)而言是人類感知通道在交際過程中綜合使用的結(jié)果。 因此,多模態(tài)話語分析不應(yīng)該局限于語言學(xué)的研究范圍, 而應(yīng)該是跨學(xué)科的。事實(shí)上, 經(jīng)過十多年的發(fā)展, 多模態(tài)分析已經(jīng)超越了語言學(xué)的藩籬, 擴(kuò)展到符號學(xué)、哲學(xué)、社會學(xué)、人類學(xué)、政治學(xué)、新聞學(xué)、心理學(xué)、法學(xué)、美學(xué)和醫(yī)學(xué)等領(lǐng)域, 研究對象也從語言文字?jǐn)U展到音樂、圖片、影像、網(wǎng)頁設(shè)計(jì)和建筑風(fēng)格等多種社會符號系統(tǒng)。多模態(tài)話語如何識別? 我們認(rèn)為, 不外乎兩個(gè)判斷標(biāo)準(zhǔn)。第一條標(biāo)準(zhǔn)是看涉及的模態(tài)種類有多少, 這是當(dāng)前語言學(xué)界普遍認(rèn)可的標(biāo)準(zhǔn)。 只使用一種模態(tài)的話語叫做 “ 單模態(tài)話語 ” (monomodaldis-course), 如使用聽覺模態(tài)收聽新聞廣播或使用視覺模態(tài)閱讀小說。同時(shí)使用兩種或兩種以上模態(tài)的話語叫做 “ 多模態(tài)話語 ” (multimodaldis-course), 也有人把同時(shí)使用兩種模態(tài)的話語叫做“雙模態(tài)話語”(bimodaldiscourse)。 同時(shí)使用兩種模態(tài)的例子有使用可視電話進(jìn)行交際時(shí), 交際雙方都需要用耳朵聽對方的講話內(nèi)容, 用眼睛看對方的表情變化和手勢變化。 同時(shí)使用三種或三種以上模態(tài)的例子很多。 在日常生活中, 我們使用手機(jī)交流時(shí), 需要用耳朵聽, 用嘴講, 用筆寫信息, 用手發(fā)信息;電腦上網(wǎng)時(shí), 需要用眼睛看屏幕上顯示的文字和圖象, 用耳朵聽文字的錄音和圖象發(fā)出的聲音, 在技術(shù)允許的條件下還可以用鼻子聞到電腦里發(fā)出的某種氣味。技術(shù)含量更高的是美 ATT貝爾實(shí)驗(yàn)室設(shè)計(jì)的 HuMaNet系統(tǒng), 這個(gè)系統(tǒng)能使異地客戶召開會議時(shí)同時(shí)獲得聲音、文字、數(shù)據(jù)和圖象。第二條標(biāo)準(zhǔn)是看涉及的符號系統(tǒng)有多少。 有些話語雖然只涉及一種模態(tài), 但包含兩個(gè)或兩個(gè)以上的符號系統(tǒng), 如連環(huán)畫雖然只涉及視覺模態(tài),但既有文字又有圖畫;廣播小說雖然只涉及聽覺模態(tài), 但既有文字內(nèi)容又有背景音樂。我們也把832007年朱永生 多模態(tài)話語分析的理論基礎(chǔ)與研究方法第 5期這些話語看作是多模態(tài)話語。 (至于手勢語、面部表情和身勢語等副語言(paralanguage), 我們既可以把它們看作語言, 也可以看作另一種模態(tài)。)4多模態(tài)話語分析的理論基礎(chǔ)雖然多模態(tài)話語分析也從皮爾斯等人的符號學(xué)理論中吸取了媒介、對象、解釋三位一體等理念, 但其主要理論基礎(chǔ)卻是 Haliday創(chuàng)立的系統(tǒng)功能語言學(xué)(Haliday1978, 1985/1994;HalidayMathiessen2004)。 具體地說, 多模態(tài)話語分析從系統(tǒng)功能語言學(xué)那里接受了語言是社會符號(socialsemiotic)和意義潛勢(meaningpotential)的觀點(diǎn), 認(rèn)為語言以外的其他符號系統(tǒng)也是意義的源泉;接受了系統(tǒng)理論, 認(rèn)為多模態(tài)話語本身也具有系統(tǒng)性;接受了純理功能假說(metafunction hypothesis), 認(rèn)為多模態(tài)話語與只包含語言符號的話語一樣, 也具有多功能性, 即同時(shí)具有概念功能、人際功能和語篇功能;接受了語域 (register) 理論, 認(rèn)為語境因素和多模態(tài)話語的意義解讀之間有著密不可分的聯(lián)系。由于多模態(tài)話語分析深受系統(tǒng)功能語言學(xué)和符號學(xué)的影響, 我們可以把它叫做系統(tǒng)功能符號學(xué)(systemic-functionalsemiotics)。 系統(tǒng)功能語言學(xué)則可看作系統(tǒng)功能符號學(xué)的一個(gè)分支。5多模態(tài)話語分析的內(nèi)容、方法與意義5.1內(nèi)容把語言學(xué)理論應(yīng)用于符號學(xué)(尤其是視覺符號研究)研究早就開始了。 例如, 布拉格學(xué)派把“前景化”(foregrounding)概念應(yīng)用于美術(shù)、戲劇、電影和服飾研究;巴黎學(xué)派把索緒爾有關(guān)“語言”與“言語”、“能指”和“所指” 、“任意”與“理據(jù)”等理論應(yīng)用于繪畫、攝影、時(shí)裝、電影和音樂研究;批評語言學(xué)派和系統(tǒng)功能符號學(xué)派把 Haliday的系統(tǒng)功能語言學(xué)理論應(yīng)用于新聞、文學(xué)和音樂等領(lǐng)域的研究等。多模態(tài)話語分析關(guān)心的課題很多, 學(xué)者們的看法也不盡相同。 這里僅列舉幾種有代表性的意見。Simpson對一次以多模態(tài)化為主題的國際應(yīng)用語言學(xué)研究會的議題進(jìn)行歸納, 指出多模態(tài)話語分析主要涉及如下幾個(gè)方面:(1)多模態(tài)化和新的媒體;(2)在學(xué)術(shù)和教育情境下的多模態(tài)化的應(yīng)用;(3)多模態(tài)化與識讀實(shí)踐;(4)多模態(tài)化語料庫的建立;(5)多模態(tài)化和類型學(xué);(6)多模態(tài)化話語分析及其理論問題。 (Simpson2003)BaldryThibault則列出 6個(gè)課題:(1)什么叫多模態(tài)語篇;(2)如何對這些語篇進(jìn)行轉(zhuǎn)錄和分析;(3)對多模態(tài)語篇進(jìn)行分析或建立多模態(tài)語篇語料庫時(shí)需要哪些技術(shù);(4)把多媒體的意義生成資源(meaning-makingresources)綜合應(yīng)用到超級語篇(hypertext)后怎樣才能使我們的意義生成潛能(meaning-makingpotential)成倍地增加; (5)在我們所處的電子學(xué)習(xí)時(shí)代, 如何使語言研究與多模態(tài)和多媒體聯(lián)系起來;(6)多模態(tài)話語分析能以什么方式、在多大程度上給語言學(xué)帶來新的變化。 (BaldryThibault2006)此外, LeVine Scolon(2004)主張?jiān)谏鐣⒔逃凸ぷ鲌鏊炔煌恼Z境中開展多模態(tài)化話語分析(胡壯麟 2007)。 O Haloran Jewit則認(rèn)為, 語言學(xué)家應(yīng)該關(guān)注多模態(tài)語篇與多種交際模式合成(如語言、動態(tài)圖象和靜態(tài)圖象, 外加三維物體)的話語之間在意義表達(dá)和理解上的關(guān)系(O HaloranJewit2006)。 研究的具體內(nèi)容包括這些模態(tài)的步驟(phase)、過渡(transition)、攝影(camera)、身體移動(bodymovement)、印刷版式(typography)以及這些模態(tài)的選擇和使用是如何引導(dǎo)讀者理解語篇和語境意義的。正如信息學(xué)家在發(fā)明和應(yīng)用多模態(tài)技術(shù)時(shí)不僅要使多模態(tài)相互結(jié)合而且相互配合, 語言學(xué)家在進(jìn)行多模態(tài)話語分析時(shí)不僅要研究每個(gè)模態(tài)本身對話語意義的產(chǎn)生有何作用, 而且要研究所涉及的所有模態(tài)之間是如何互動, 從而使語篇獲得更多的意義(en-hancedmeaning)的。5.2方法要正確解讀多模態(tài)話語的意義, 須要掌握兩個(gè)要領(lǐng)。第一個(gè)要領(lǐng)是確定不同成分之間的語法關(guān)系。一講到語法, 人們自然會想到如何把單詞連成句子的規(guī)則, 很少考慮到視覺符號系統(tǒng)中單個(gè)元素相互組合時(shí)是否也有章可循。 回顧符號學(xué)的研究歷史, 視覺符號(visualsemiotic)研究占據(jù)了十分重要的地位, 但這類研究基本上都集中在圖象、人物、事物和地點(diǎn)等元素的外延和內(nèi)涵以及象征意義上, 這在很大程度上相當(dāng)于語言學(xué)中的詞匯研究, 符號之間的“語法”關(guān)系被忽視了。 那么, 如何確定多模態(tài)話語的語法關(guān)系呢? KressLeeuwen認(rèn)為, 圖象中的視覺符號不僅可以反映客觀世界和主觀世界發(fā)生的各種事件, 而且可以表現(xiàn)各種各樣的人際關(guān)系, 與此同時(shí)視覺符號內(nèi)部也是一個(gè)有機(jī)的連貫的整體, 因此可以借用Haliday的語言三大功能假說, 分別從概念功能、人際功能和語篇功能三個(gè)不同的層面分析圖象等842007年朱永生 多模態(tài)話語分析的理論基礎(chǔ)與研究方法第 5期視覺符號的語義關(guān)系 (Kress Leeuwen2003)。在概念意義層面上, 我們可以探討不同的圖象之間或同一個(gè)圖象中不同成分之間有何聯(lián)系, 哪個(gè)成分相當(dāng)于及物系統(tǒng)中的行為者(actor), 哪個(gè)成分充當(dāng)對象(goal), 哪個(gè)成分表示環(huán)境 (circum-stance)。 在人際意義層面上, 我們可以探討圖象中參與者之間的社會關(guān)系、圖象設(shè)計(jì)者的交際目的以及圖象解讀者本身對圖象內(nèi)容的介入 (in-volvement)程度。在語篇意義層面上, 我們可以根據(jù)同一個(gè)圖象中不同成分之間或不同圖象之間所處的相對位置(如上下、前后、中心邊緣關(guān)系)等版面安排的具體情況, 分析多模態(tài)話語的信息分布(informationdistribution), 確認(rèn)哪些成分是已知信息(giveninformation), 哪些成分是新信息(new information), 從而認(rèn)清哪些信息是多模態(tài)話語的起點(diǎn)(pointofdeparture), 哪些信息是多模態(tài)話語想要傳遞的信息焦點(diǎn)(informationfocus)。第二個(gè)要領(lǐng)是要弄清文字和圖象之間的關(guān)系。這方面, 學(xué)術(shù)界的看法不盡相同。 如 Barthes 認(rèn)為, 圖象和文字說明是關(guān)聯(lián)的, 然而由于圖象本身的意義飄忽不定, 必須借助文字說明才能確定(Barthes1967, 1977)。 而 Kress Leeuwen卻認(rèn)為, 圖象和文字說明是有聯(lián)系的, 但并不依賴文字說明, 因?yàn)樗旧砑仁怯薪M織的(organized), 又是有結(jié)構(gòu)的(structured)(Kress Leeuwen2006)。這就要求我們對兩者的互補(bǔ)作用進(jìn)行深入的研究。此外, KressLeeuwen還告戒我們, “視覺結(jié)構(gòu)并不只是對現(xiàn)實(shí) 結(jié)構(gòu)進(jìn)行復(fù)制。恰恰相反,它們生成的現(xiàn)實(shí)世界的各種圖象, 與那些生成、傳播和閱讀這些圖象的社會機(jī)構(gòu)的利益是緊緊聯(lián)系在一起的。 它們是表達(dá)意識形態(tài)的。 視覺結(jié)構(gòu)絕不只是形式的, 它們在語義上也是非常重要的”(KressLeeuwen2006:47)。這意味著圖象和語言一樣, 對社會現(xiàn)實(shí)和心理現(xiàn)實(shí)既具有復(fù)制作用,又具有重新建構(gòu)的作用。5.3意義回顧迄今為止的話語分析, 幾乎都是以文本為基礎(chǔ)的。 這可能是一個(gè)方向性的錯誤。 Sau-ssure(1916)早就明確指出, 實(shí)際使用的話語才是語言學(xué)真正須要研究的對象, 基于文本的語言形式和結(jié)構(gòu)研究并不能從根本上解決語言學(xué)家想要解決的問題。 Haliday(1978), Haliday Hasan (1985), Chafe(1994)等人也持有相同的觀點(diǎn)。我們認(rèn)為有必要將語言研究的重心轉(zhuǎn)移到自然狀態(tài)下的話語上來, 特別是現(xiàn)場即席口語會話。 而人們在具體的社會情境中, 總是運(yùn)用多種多樣的符號資源完成意義建構(gòu)(Kressetal2001)。 這就是說, 自然狀態(tài)下發(fā)生的話語活動往往具有多模態(tài)性(multimodality)。以前由于科學(xué)技術(shù)的限制,很少有人從多模態(tài)角度分析話語。如今, 隨著多媒體技術(shù)和語料庫的迅速發(fā)展, 對自然話語進(jìn)行多模態(tài)研究已經(jīng)成為可能。多模態(tài)話語分析的意義在于它可以將語言和其他相關(guān)的意義資源整合起來(Gibbon2000), 它不僅可以看到語言系統(tǒng)在意義交換過程中所發(fā)揮的作用, 而且可以看到諸如圖象、音樂、顏色等其他符號系統(tǒng)在這個(gè)過程中所產(chǎn)生的效果, 從而使話語意義的解讀更加全面、更加準(zhǔn)確, 進(jìn)而發(fā)現(xiàn)人類如何綜合使用多種模態(tài)達(dá)到社會交際的目的?？梢哉f, 這類話語分析既可以推動我們對語言學(xué)的研究, 同時(shí)也可以加深對符號學(xué)的認(rèn)識(胡壯麟 2007)。6不足之處與今后走向多模態(tài)話語分析目前還處于起始階段, 在如下三個(gè)方面存在一些不足。 第一, 語法分析的主觀性太強(qiáng)。 以文本為基礎(chǔ)的語法分析, 盡管也需要分析者對句子意義結(jié)構(gòu)的理解, 但一般都可以提供嚴(yán)格意義上的語法依據(jù), 而多模態(tài)話語分析中的語法分析由于缺乏嚴(yán)格語法意義上的標(biāo)記和線性關(guān)系, 因此帶有很強(qiáng)的主觀性, 即在很大程度上依靠分析者本人對不同組成部分之間語義關(guān)系的理解。在面對同樣兩個(gè)或更多的成分時(shí), 不同的人可能會因?yàn)槲幕尘安煌?、知識結(jié)構(gòu)不同, 甚至解讀動機(jī)不同進(jìn)行不同的分析, 從而得出不同的結(jié)論。第二, 與第一個(gè)不足之處相關(guān)的是各種模態(tài)之間的互動關(guān)系和互補(bǔ)作用難以確定。多模態(tài)話語中往往由多種系統(tǒng)構(gòu)成, 而每個(gè)系統(tǒng)中又有很多單個(gè)的成分。 這些成分當(dāng)中, 哪些對解讀有價(jià)值, 哪些沒有價(jià)值, 也是不容易確定的因素。第三, 迄今為止, 從事多模態(tài)話語分析的絕大多數(shù)是系統(tǒng)功能語言學(xué)家, 而多模態(tài)話語分析是跨學(xué)科的, 僅僅依靠語言學(xué)的一個(gè)流派是遠(yuǎn)遠(yuǎn)不夠的。只有其他學(xué)科的學(xué)者共同參與, 多模態(tài)話語的意義才能得到更加全面而正確的解讀。值得高興的是, 雖然多模態(tài)技術(shù)還處于研發(fā)階段, 但已經(jīng)對多模態(tài)話語的收集、轉(zhuǎn)錄和分析以及社會交際的方式和作用產(chǎn)生了影響。隨著科學(xué)技術(shù)的進(jìn)一步發(fā)展, 人們認(rèn)識世界的水平將越來越高。 根據(jù)現(xiàn)有的資料, 我們可以預(yù)測, 多模態(tài)話語分析將呈現(xiàn)兩個(gè)比較明顯的趨勢。第一個(gè)趨勢是對多模態(tài)互補(bǔ)作用的更加關(guān)注, 如語篇與圖象852007年朱永生 多模態(tài)話語分析的理論基礎(chǔ)與研究方法第 5期的互補(bǔ), 說話與手勢的互補(bǔ), 面部表情與語音識別(speechrecognition)的互補(bǔ), 面部表情與語音綜合(speechsynthesis)的互補(bǔ)等。 第二個(gè)趨勢是復(fù)雜程度的提高, 如從二維話語分析走向三維話語分析, 從靜態(tài)研究走向動態(tài)研究等。我們相信, 此類研究必將進(jìn)一步推動話語分析乃至整個(gè)語言學(xué)的發(fā)展。 目前處于落后地位的我國語言學(xué)界須要迎頭趕上, 做出自己應(yīng)有的貢獻(xiàn)。參考文獻(xiàn)胡壯麟.社會符號學(xué)研究中的多模態(tài)化 J .語言教學(xué)與研究, 2007(1).朱永生.話語分析 50年 J .外國語, 2003(3).Baldry, A.P.J.Thibault.MultimodalTranscriptionandTextAnalysis M .London:EquinoxPublishing, 2006.Barthes,R.ElementsofSemiology M .London:Cape,1967.Barthes,R. Image-Music-Text M . London: Fontana,1977.Chafe, W.Discourse, Consciousness,andTime M .Chica-go:UniversityofChicagoPress,1994.Gibbon,Dafydd,IngeMertinsRogerK.Moore.HandbookofMultimodalandSpokenDialogueSystems M .Bos-ton:KluwerAcademicPublishers, 2000.Halliday,M.A.K.LanguageasaSocialSemiotic M .London:Arnold, 1978.Halliday,M.A.K.AnIntroductiontoFunctionalGrammar M .London:Arnold, 1985/1994.Halliday,M.M.K. C.Matthiessen.AnIntroductiontoFunctionalGrammar M .London:Arnold, 2004.Kress, G. Leeuwen,TheoVan.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication M .London:Arnold, 2003.Kress, G. Leeuwen,TheoVan(2nd Edition).ReadingImages:TheGrammarofVisualDesign M .London:Routledge,2006.Leeuwen,TheoVan.AMultimodalPerspectiveonComposi-tion. A .InEnsink, TitusandChristoph Sauer收稿日期:2006 -12 -28(eds.), FramingandPerspectivisinginDiscourse C .Amsterdam, PA:JohnBenjaminsPub, 2003.Leeuwen,TheoVan. ThreeModelsofInterdisciplinarity A .InWodak, RuthandPaulChilton(eds.), ANewAgendain(Critical)DiscourseAnalysis C .Am-sterdam, PA:JohnBenjaminsPub,2005.Leeuwen,TheoVan.TowardsaSemioticsofTypography J .InformationDesignJournal,2006(2).Leeuwen,TheoVan Adam Jaworski.TheDiscoursesofWarPhotography:PhotojournalisticRepres