短時(shí)記憶的視覺和聽覺編碼

1、實(shí)驗(yàn)編號(hào)：201328.32013學(xué)年 第2學(xué)期記憶的視覺和聽覺編碼專業(yè)年級(jí)：應(yīng)用心理2012級(jí)實(shí)驗(yàn)組別：實(shí) 驗(yàn) 者： 李德輝 其他成員：實(shí)驗(yàn)時(shí)間：摘 要 短時(shí)記憶的編碼方式是認(rèn)知心理學(xué)研究中的一個(gè)重要問題， 存在視覺編碼、聽覺編碼、 語(yǔ)義編碼等多種觀點(diǎn)。減數(shù)法是反應(yīng)時(shí)研 究的傳統(tǒng)方法，應(yīng)用于當(dāng)代認(rèn)知心理學(xué)中為探明認(rèn)知加工過程提供了 一條途徑。波斯納( Posner， 1967，1969)將減數(shù)法應(yīng)用于短時(shí)記憶 編碼的研究中，以音同形同、音同形異、音異形異的字母對(duì)為實(shí)驗(yàn)材 料，讓被試做出同 /異判斷，分析其反應(yīng)時(shí)，得出某些情境中短時(shí)記 憶中信息編碼的規(guī)律：先形成視覺編碼，再轉(zhuǎn)化成聽覺編碼。本實(shí)

2、驗(yàn) 將對(duì)該經(jīng)典實(shí)驗(yàn)進(jìn)行重復(fù)驗(yàn)證， 并對(duì)實(shí)驗(yàn)中減數(shù)法原理的運(yùn)用進(jìn)行初 步討論。關(guān)鍵詞 短時(shí)記憶 視覺編碼 聽覺編碼 減數(shù)法 延遲時(shí)間1 引言短時(shí)記憶(Short-term Memory)是指腦中的信息在一分鐘之內(nèi)加 工編碼的記憶。它建立在感覺記憶的基礎(chǔ)上， 是信息加工系統(tǒng)的核心。 感覺記憶中的信息是無(wú)意識(shí)的， 也是未經(jīng)加工的感覺痕跡， 而短時(shí)記 憶中的信息是來(lái)自于感覺記憶并對(duì)其進(jìn)行操作、 加工，是正在操作的、 活動(dòng)的記憶， 只有當(dāng)那些被加工、 處理和編碼后的信息才能被轉(zhuǎn)入長(zhǎng) 時(shí)記憶中儲(chǔ)存，否則就會(huì)遺忘。短時(shí)記憶的刺激編碼方式一直是認(rèn)知心理學(xué)的重要問題之一。 一 般認(rèn)為，關(guān)于短時(shí)記憶的編碼方式有四

3、種觀點(diǎn)：一、信息的編碼是一 聽覺形式表征的， 即聽覺編碼。 人們?cè)趯?duì)刺激信息進(jìn)行編碼時(shí)是根據(jù) 刺激信息的名稱進(jìn)行編碼， 如果名稱相同和意義相同， 就作出相同判 斷，并與長(zhǎng)時(shí)記憶中的信息建立聯(lián)系。二、信息編碼根據(jù)外形輪廓進(jìn) 行，即視覺編碼。如果信息的外形輪廓相同，無(wú)論其形狀、大小或其 他物理特征是否相同，都會(huì)作出相同的判斷。三、信息以語(yǔ)義編碼的 形式進(jìn)行加工，即根據(jù)刺激的語(yǔ)義特征進(jìn)行編碼。四、短時(shí)記憶中同 時(shí)存在上述三種或兩種編碼過程?？道?R.Conrad, 1963, 1964)以發(fā)音相似的一系列字母為材 料，要求被試進(jìn)行回憶， 發(fā)現(xiàn)被試對(duì)發(fā)音相似的字母產(chǎn)生的聽覺混淆 多于發(fā)音不同的字母,

4、 占總錯(cuò)誤的 80%。并據(jù)此認(rèn)為短時(shí)記憶的編碼 具有聽覺性質(zhì)。之后,威克爾格倫( Wichelgren, 1965)用數(shù)字和字 母混合進(jìn)行實(shí)驗(yàn), 也證明了短時(shí)記憶中存在聽覺編碼。 但這些研究未 能排除語(yǔ)義編碼在刺激編碼中的作用。 考夫曼和威爾遜 ( Kaufuman & Wilson)對(duì)短時(shí)記憶的視覺編碼進(jìn)行了研究，對(duì)猴子進(jìn)行的圖形識(shí)別 實(shí)驗(yàn)( Kaufuman & Wilson, 1971)證明猴子進(jìn)行短時(shí)記憶時(shí),只能 對(duì)刺激進(jìn)行視覺編碼。波斯納等( Posner, 1967, 1969)的實(shí)驗(yàn)表明, 至少在部分時(shí)間內(nèi), 短時(shí)記憶的信息是以視覺編碼形式進(jìn)行的。 短時(shí) 記憶的語(yǔ)義編碼也獲得了部

5、分實(shí)驗(yàn)支持，如威肯斯（ Wickens，1970， 1972）對(duì)前攝抑制現(xiàn)象的研究，舒爾曼（ Shulman， 1972）對(duì)同一匹 配中語(yǔ)義混淆現(xiàn)象的研究等。國(guó)內(nèi)學(xué)者對(duì)短時(shí)記憶的編碼也進(jìn)行了大量的研究， 尤其是漢字的 編碼方式。而這些研究越來(lái)越顯示： 短時(shí)記憶中可能存在視覺、 聽覺、 語(yǔ)義等多種編碼方式，對(duì)這些編碼方式的運(yùn)用會(huì)受到許多因素的影 響。莫雷（ 1986）認(rèn)為，短時(shí)記憶的編碼方式可能隨情境而變化，如 在漢字情境中采用視覺編碼而在英語(yǔ)情境中采用聽覺編碼。劉愛倫 （ 1989）、鄭涌（ 1991）等的實(shí)驗(yàn)結(jié)果也表明，不同的感覺通道（視 覺和聽覺） 的刺激會(huì)改變短時(shí)記憶的編碼方式。 以英語(yǔ)

6、專業(yè)和非英語(yǔ) 專業(yè)中國(guó)大學(xué)生為被試， 以英文實(shí)驗(yàn)材料為刺激， 發(fā)現(xiàn)非專業(yè)組被試 總體上偏好于視覺編碼， 專業(yè)組被試總體上偏好于聽覺編碼。 本實(shí)驗(yàn) 將要重復(fù)的波斯納的經(jīng)典實(shí)驗(yàn)也表明， 在不同時(shí)間間隔下被試對(duì)刺激 的編碼方式有所不同。反應(yīng)時(shí)（reaction time）,亦稱“動(dòng)作反應(yīng)時(shí)”，“反應(yīng)潛伏期”。 即從刺激呈現(xiàn)到有機(jī)體做出反應(yīng)之間所需的最短時(shí)間。 最初的反應(yīng)時(shí) 研究?jī)H僅用于測(cè)定神經(jīng)的傳導(dǎo)速度， 之后漸漸被用于推斷復(fù)雜的心理 加工過程。唐德斯（的反應(yīng)時(shí)ABC （ABC of reaction time）理論是這種應(yīng)用的成功代表，其減數(shù)法的思想沿用至 今；馮特也積極地將反應(yīng)時(shí)可表征的心理過程

7、大大拓展， 但由于當(dāng)時(shí) 的研究水平所限，其效果并不理想。直到認(rèn)知心理學(xué)出現(xiàn)，反應(yīng)時(shí)又 被廣泛應(yīng)用于探究心理活動(dòng)的機(jī)制，并衍生出減數(shù)法、加因素法、開 窗實(shí)驗(yàn)等諸多實(shí)驗(yàn)范式。 在認(rèn)知心理學(xué)中， 減法反應(yīng)時(shí)既可用于研究 某一個(gè)信息加工階段或特征，也可用于研究一系列連續(xù)的加工階段。 其理論依據(jù)是：如果一個(gè)加工過程包含另一個(gè)加工過程所沒有的心理 加工過程，則兩個(gè)加工過程的反應(yīng)時(shí)差異可表征這個(gè)多出的心理加工 過程。但將減數(shù)法應(yīng)用于心理過程的推斷應(yīng)高度謹(jǐn)慎： 實(shí)驗(yàn)者應(yīng)對(duì)實(shí) 驗(yàn)任務(wù)引起的刺激與反應(yīng)之間的一系列心理過程有比較精確的預(yù)測(cè)， 并要求兩個(gè)相減的任務(wù)中共有的心理過程要嚴(yán)格匹配。 波斯納等成功 地應(yīng)用減數(shù)

8、法反應(yīng)時(shí)實(shí)驗(yàn)， 證明了某些短時(shí)記憶信息可以有視覺編碼 和聽覺編碼兩個(gè)連續(xù)的階段， 這是認(rèn)知心理學(xué)上的重大發(fā)現(xiàn)， 同時(shí)具 有很強(qiáng)的方法學(xué)意義。2 研究方法2.1 被試 華東師范大學(xué)心理學(xué)系本科學(xué)生 3 名 實(shí)驗(yàn)儀器計(jì)算機(jī)及PsyTech心理實(shí)驗(yàn)系統(tǒng)222實(shí)驗(yàn)材料英文字母大寫A、B和小寫a、b的不同組合，其中AA（6次）、 BB（ 6 次）。Aa （6 次）、Bb （6 次）、AB （3 次）、BA （3 次），Ab（ 3 次）、Ba （3次）共36次（參數(shù)設(shè)置中如選72次則重復(fù)呈現(xiàn)2遍； 108次則重復(fù)呈現(xiàn)3遍）。2.3實(shí)驗(yàn)步驟（1）登錄并打開PsyTech心理實(shí)驗(yàn)軟件主界面，選中實(shí)驗(yàn)列表中 的

9、“短時(shí)記憶的視覺和聽覺編碼”。單擊呈現(xiàn)實(shí)驗(yàn)簡(jiǎn)介。點(diǎn)擊“進(jìn)入 實(shí)驗(yàn)”到“操作向?qū)А贝翱?。?shí)驗(yàn)者可進(jìn)行參數(shù)設(shè)置（或使用默認(rèn) 參數(shù)），然后點(diǎn)擊“開始實(shí)驗(yàn)”按鈕進(jìn)入指導(dǎo)語(yǔ)界面?？上冗M(jìn)行練習(xí) 實(shí)驗(yàn)，也可以直接點(diǎn)擊“正式實(shí)驗(yàn)”按鈕開始。（2）被試閱讀指導(dǎo)語(yǔ)。當(dāng)被試明白實(shí)驗(yàn)步驟后可進(jìn)行一組練習(xí)。 練習(xí)結(jié)束后點(diǎn)擊“正式實(shí)驗(yàn)”按鈕開始。（3）實(shí)驗(yàn)開始后屏幕每次呈現(xiàn)兩個(gè)字母， 有3種呈現(xiàn)形式：同時(shí) 呈現(xiàn)、一個(gè)字母比另一個(gè)字母延遲 0.5秒后呈現(xiàn)、一個(gè)字母比另一個(gè) 字母延遲2秒后呈現(xiàn)。3種形式隨機(jī)呈現(xiàn)。被試判斷呈現(xiàn)的兩個(gè)字母 是否相同并作出反應(yīng)，記錄反應(yīng)時(shí)。（4）實(shí)驗(yàn)結(jié)束，數(shù)據(jù)被自動(dòng)保存。實(shí)驗(yàn)者可直接查看結(jié)果，也可

10、 換被試?yán)^續(xù)試驗(yàn)，結(jié)果可在主界面“數(shù)據(jù)”菜單中查看。3結(jié)果3.1 不同類型的子母匹配在不同間隔時(shí)間下被試正確反應(yīng)時(shí)的平均 數(shù)和標(biāo)準(zhǔn)差表1正確反應(yīng)時(shí)的平均數(shù)和標(biāo)準(zhǔn)差音同形同0毫秒音同形 異音異形異音同形同500毫秒 音同形 異音異形異音同形同2000毫秒 音同形 異音異形異Mean534.04610.58673.40536.39544.82604.04489.00490.95527.87std88.62128.5772.645188.57125.36179.9493.05105.10137.34時(shí)應(yīng)反oooo ooooo oooo oooo 00765 4321圖1不同間隔時(shí)間正確反應(yīng)時(shí)的變化+

11、音同形同音同形異音異形異05002000間隔時(shí)間（m9從圖中可以看出，在刺激間隔為 0ms時(shí)，音同形同、音同形異、 音異形異三種不同的匹配其反應(yīng)時(shí)有明顯差異；隨著間隔時(shí)間的增 大，反應(yīng)時(shí)均有所下降，并逐漸趨同，至2000ms時(shí)幾乎重合為一點(diǎn),三種不同的刺激匹配下，不同間隔時(shí)間所對(duì)應(yīng)的反應(yīng)時(shí)差異在下 圖中體現(xiàn)更為明顯。圖2不同刺激匹配下的正確反應(yīng)時(shí)音同形同音同形異音異形異0ms Zi 500ms _ 2000msooooooooo oooooooo 8 76 54321時(shí)應(yīng)反3.2 one-way ANOVA 差異檢驗(yàn)刺激音同形同時(shí)，三種延遲時(shí)間下反應(yīng)時(shí)沒有顯著差異F=0.991，p=0.407

12、, Mean=520.26, Std=132.08 ;刺激音同形異時(shí)，三種延遲時(shí) 間下反應(yīng)時(shí)有極其顯著差異 F=5.085，p=0.0090.01，Mean=545.83 Std=127.32，具體分析，0ms與2000ms下的反應(yīng)時(shí)有顯著差異 p=0.0020.01 ；刺激音異形異時(shí)，三種延遲時(shí)間下反應(yīng)時(shí)有極其顯著 差異 F=6.262，p=0.0030.01，Mean=600.72, Std=148.46，具體分 析，0ms與2000ms下的反應(yīng)時(shí)有顯著差異p0.001?？梢妼?shí)驗(yàn)材料（刺 激）同質(zhì)性越強(qiáng)，反應(yīng)時(shí)越短，差異越不顯著。間隔Oms時(shí)，三種不同實(shí)驗(yàn)材料反應(yīng)時(shí)有極其顯著差異F=11.

13、512,pvO.001 , Mean二604.67, Std=112.72，具體分析，三種不同的實(shí)驗(yàn)材 料兩兩之間均有顯著差異，音同形同與音同形異p=0.0140.05，音同形異與音異形異p=0.0440.05，音同形同與音異形異p0.001。間 隔500ms時(shí)，三種不同實(shí)驗(yàn)材料反應(yīng)時(shí)無(wú)顯著差異 F=1.121 ,p=0.332， Mean=561.75, Std=167.28。間隔2000ms時(shí)，三種不同實(shí)驗(yàn)材料反應(yīng) 時(shí)無(wú)顯著差異 F=0.839, p=0.437，Mean二502.99, Std=113.52?？梢姡?隨著時(shí)間間隔的增大,差異減小。3.3 Univariate Analys

14、is of Variance 差異檢驗(yàn) 以時(shí)間間隔和實(shí)驗(yàn)材料（刺激匹配）為兩個(gè)因素對(duì)反應(yīng)時(shí)進(jìn)行 Univariate Analysis of Variance 差異檢驗(yàn)。實(shí)驗(yàn)材料主效應(yīng)顯著 F=6.892, p=0.0010.01 ；時(shí)間間隔主效應(yīng)顯著 F=10.348, p音同形異音同形同；在間隔時(shí) 間為500ms和1000ms時(shí)均無(wú)顯著差異，且p值增大顯示差異減小?？疾煲敉瓮鸵敉萎悆煞N材料的反應(yīng)時(shí)變化。這兩種反應(yīng)任 務(wù)都是首先判斷兩個(gè)字符是否為同一個(gè)字母,然后去按表示“相同” 的反應(yīng)鍵。根據(jù)減數(shù)法的邏輯,在 0間隔的情況下,音同形異任務(wù)的 反應(yīng)時(shí)比音同形同任務(wù)的反應(yīng)時(shí)長(zhǎng), 說(shuō)明前者有

15、后者所不具有的心理 加工過程, 且該過程所占用的時(shí)長(zhǎng)就是反應(yīng)時(shí)的差值。 兩種操作的動(dòng) 作反應(yīng)是一樣的, 區(qū)別只能發(fā)生在判斷過程中。 要確認(rèn)兩字符是同一 個(gè)字母,對(duì)于音同形同的材料可以由外形（輪廓）相同來(lái)確認(rèn),也可 以由讀音相同來(lái)確認(rèn)；對(duì)于音同形異的材料只能由讀音相同來(lái)確認(rèn)。 外形確認(rèn)需要視覺編碼,讀音確認(rèn)需要聽覺編碼。由于“確認(rèn)”是動(dòng) 作反應(yīng)前的最后一個(gè)步驟, 所以對(duì)音同形異材料進(jìn)行心理加工的最后 一步是基于聽覺編碼的讀音判斷。 由于字符信息是由視覺傳入的, 視 覺編碼如果存在, 必然發(fā)生在聽覺編碼之前。 結(jié)合減數(shù)法的實(shí)驗(yàn)邏輯, 兩種反應(yīng)時(shí)的差值正是多出的那種心理加工過程。 這種過程只能是聽

16、覺編碼。音同形同材料可以經(jīng)由外型相同來(lái)確認(rèn), 不必再經(jīng)過聽覺編 碼,節(jié)省了一步,故反應(yīng)時(shí)相對(duì)減小。隨著時(shí)間間隔的延長(zhǎng), 兩種實(shí)驗(yàn)任務(wù)的反應(yīng)時(shí)漸漸趨同, 在 500ms 時(shí)已沒有顯著差異。 該過程中音同形異任務(wù)的判斷步驟與 0 間隔情況 相同；對(duì)音同形同的任務(wù)而言， 反應(yīng)時(shí)的相對(duì)增加意味著心理加工過 程的增加， 從而與音同形異任務(wù)的加工過程趨于一致。 這一增加的心 理過程就是刺激的聽覺編碼。 這驗(yàn)證了該情境下短時(shí)記憶首先進(jìn)行視 覺編碼，然后進(jìn)行聽覺編碼的程序。4.2對(duì)于音異形異的實(shí)驗(yàn)材料，其心理加工階段應(yīng)與音同形異的材料 相同：首先經(jīng)過視覺編碼，視覺編碼不足以確認(rèn)兩字符“相同”還是 “不同”，隨

17、后進(jìn)行聽覺編碼，根據(jù)讀音確認(rèn)兩字符不同，然后作出 按“”鍵的反應(yīng)。即：視覺編碼 - 輪廓確認(rèn)，聽覺編碼 -讀音確認(rèn)。 直到讀音確認(rèn)為不同，被試才能做出“不同”的判斷。這就可以解釋 在 0 間隔時(shí)音異形異材料和音同形同材料在反應(yīng)時(shí)上的顯著差異， 以 及二者在 500ms 后的無(wú)差異。而音異形異材料相對(duì)于音同形異材料在 0 間隔情況下的顯著差異 無(wú)法用上面的理論來(lái)解釋。 因?yàn)閮烧叩木幋a方式和步驟相同， 所以反 應(yīng)時(shí)差異所代表的心理加工過程也與編碼方式無(wú)關(guān)。 我們猜想： 這是 由實(shí)驗(yàn)材料的復(fù)雜程度決定的。 本實(shí)驗(yàn)中， 音異形異材料的構(gòu)成最為 復(fù)雜，有 AB ，Ab，aB，ab 四種情況，較難隨練習(xí)迅

18、速提高反應(yīng)速 度。4.3 本實(shí)驗(yàn)與波斯納經(jīng)典實(shí)驗(yàn)結(jié)果的不同之處在于隨延遲時(shí)間的加長(zhǎng) 反應(yīng)時(shí)的縮短。由圖 2 可見：三種實(shí)驗(yàn)材料的情況下，反應(yīng)時(shí)都隨著 間隔時(shí)間的延長(zhǎng)而縮短。 方差分析也表明： 在音同形異和音異形異的 情況下，延遲2000ms的反應(yīng)時(shí)顯著短于0間隔的反應(yīng)時(shí)。波斯納的 實(shí)驗(yàn)中，隨著延遲的增加， 音同形同材料的反應(yīng)時(shí)會(huì)逐漸上升，從而 與音同形異材料的反應(yīng)時(shí)趨同。 這根據(jù)短時(shí)記憶的編碼理論似乎很容 易解釋：隨著時(shí)間的延遲， 視覺編碼的作用逐漸消失，聽覺編碼的作 用逐漸增大，從而反應(yīng)時(shí)也逐漸增加。但仔細(xì)分析不同延遲時(shí)間下的操作任務(wù)，會(huì)發(fā)現(xiàn)無(wú)延遲（ 0 間隔） 和有延遲情況下的操作任務(wù)并不

19、完全相同。 在無(wú)延遲的情況下， 被試 要在刺激呈現(xiàn)之后首先進(jìn)行視覺編碼， 然后進(jìn)行聽覺編碼， 同時(shí)以最 快的速度對(duì)“相同”與“不同”進(jìn)行確認(rèn)。音同形同的材料在視覺編 碼的基礎(chǔ)上即可得到確認(rèn)， 不及進(jìn)入聽覺編碼環(huán)節(jié)， 故反應(yīng)時(shí)短于另 外兩種材料。 在有延遲的情況下， 被試在延遲的時(shí)間段內(nèi)完成了第一 個(gè)字母的聲音編碼， 將較為復(fù)雜的兩字母音形判斷任務(wù)轉(zhuǎn)化為較簡(jiǎn)單 的單字母讀音判斷任務(wù)。 反應(yīng)時(shí)由第二個(gè)字符呈現(xiàn)開始計(jì)數(shù)， 這之后 被試的心理加工僅僅是對(duì)這一個(gè)字母的注意和編碼， 而不像 0 間隔任 務(wù)中對(duì)兩個(gè)字母注意并編碼。 根據(jù)減數(shù)法反應(yīng)時(shí)理論， 后者的反應(yīng)時(shí) 應(yīng)當(dāng)比前者更長(zhǎng)。而在延遲時(shí)間由500m

20、s上升到2000ms時(shí)，雖然被試的操作任務(wù) 和刺激的編碼方式都完全相同，但反應(yīng)時(shí)仍然出現(xiàn)下降。我們認(rèn)為： 這是由于判斷策略的應(yīng)用。 本實(shí)驗(yàn)中， 作出按鍵反應(yīng)的唯一依據(jù)是聲 音的異同， 在進(jìn)行了視覺編碼的基礎(chǔ)上， 如何最快地進(jìn)行比較和確認(rèn) 是影響反應(yīng)時(shí)的關(guān)鍵。 在無(wú)延遲的情況下， 被試只能同時(shí)對(duì)兩個(gè)字符 進(jìn)行編碼和比較； 隨著延遲的加長(zhǎng)， 被試在延遲時(shí)段中可以完成第一 個(gè)字符的聲音編碼， 設(shè)想下一個(gè)字符的聲音編碼的可能情形， 并最終 把注意集中到某一種情形， 期待下一個(gè)字符的出現(xiàn)。 這種良好的準(zhǔn)備 是無(wú)延遲狀態(tài)下所沒有的， 并且隨著延遲的增加， 準(zhǔn)備可以做得更加 充分，表現(xiàn)出反應(yīng)時(shí)的下降。本實(shí)驗(yàn)

21、最長(zhǎng)延遲為2000ms,至此反應(yīng)時(shí)達(dá)到最低。若再增加多個(gè) 延遲，可能會(huì)發(fā)現(xiàn)反應(yīng)時(shí)降低到一定程度就維持恒定。 反應(yīng)時(shí)肯定不 能逾越生理的限制而無(wú)限減小, 本實(shí)驗(yàn)中僅選取三種延遲, 才會(huì)表現(xiàn) 出反應(yīng)時(shí)隨間隔時(shí)間增大而保持降低,這類似于天花板效應(yīng)。4.4從上面的討論可以看出,短時(shí)記憶的編碼方式體現(xiàn)在信息加工的 過程中,受到實(shí)驗(yàn)材料、任務(wù)要求、操作策略等因素的影響。首先,短時(shí)記憶的編碼應(yīng)當(dāng)受到感覺傳入形式的影響。 本實(shí)驗(yàn)中, 刺激材料以視覺信息的形式呈現(xiàn), 故首先經(jīng)由視覺編碼, 與頭腦中字 母的概念發(fā)生匹配, 轉(zhuǎn)化成相應(yīng)的聽覺編碼, 從而在短時(shí)記憶中保持 并作為進(jìn)一步的加工、 判斷的基礎(chǔ)。 如果刺激材料非由視覺信息形式 呈現(xiàn),比如通過朗讀向被試呈現(xiàn)材料, 很可能