短時記憶的視覺和聽覺編碼

1、實驗編號：201328.32013學年 第2學期記憶的視覺和聽覺編碼專業(yè)年級：應用心理2012級實驗組別：實 驗 者： 李德輝 其他成員：實驗時間：摘 要 短時記憶的編碼方式是認知心理學研究中的一個重要問題， 存在視覺編碼、聽覺編碼、 語義編碼等多種觀點。減數(shù)法是反應時研 究的傳統(tǒng)方法，應用于當代認知心理學中為探明認知加工過程提供了 一條途徑。波斯納( Posner， 1967，1969)將減數(shù)法應用于短時記憶 編碼的研究中，以音同形同、音同形異、音異形異的字母對為實驗材 料，讓被試做出同 /異判斷，分析其反應時，得出某些情境中短時記 憶中信息編碼的規(guī)律：先形成視覺編碼，再轉(zhuǎn)化成聽覺編碼。本實

2、驗 將對該經(jīng)典實驗進行重復驗證， 并對實驗中減數(shù)法原理的運用進行初 步討論。關(guān)鍵詞 短時記憶 視覺編碼 聽覺編碼 減數(shù)法 延遲時間1 引言短時記憶(Short-term Memory)是指腦中的信息在一分鐘之內(nèi)加 工編碼的記憶。它建立在感覺記憶的基礎(chǔ)上， 是信息加工系統(tǒng)的核心。 感覺記憶中的信息是無意識的， 也是未經(jīng)加工的感覺痕跡， 而短時記 憶中的信息是來自于感覺記憶并對其進行操作、 加工，是正在操作的、 活動的記憶， 只有當那些被加工、 處理和編碼后的信息才能被轉(zhuǎn)入長 時記憶中儲存，否則就會遺忘。短時記憶的刺激編碼方式一直是認知心理學的重要問題之一。 一 般認為，關(guān)于短時記憶的編碼方式有四

3、種觀點：一、信息的編碼是一 聽覺形式表征的， 即聽覺編碼。 人們在對刺激信息進行編碼時是根據(jù) 刺激信息的名稱進行編碼， 如果名稱相同和意義相同， 就作出相同判 斷，并與長時記憶中的信息建立聯(lián)系。二、信息編碼根據(jù)外形輪廓進 行，即視覺編碼。如果信息的外形輪廓相同，無論其形狀、大小或其 他物理特征是否相同，都會作出相同的判斷。三、信息以語義編碼的 形式進行加工，即根據(jù)刺激的語義特征進行編碼。四、短時記憶中同 時存在上述三種或兩種編碼過程?？道?R.Conrad, 1963, 1964)以發(fā)音相似的一系列字母為材 料，要求被試進行回憶， 發(fā)現(xiàn)被試對發(fā)音相似的字母產(chǎn)生的聽覺混淆 多于發(fā)音不同的字母,

4、 占總錯誤的 80%。并據(jù)此認為短時記憶的編碼 具有聽覺性質(zhì)。之后,威克爾格倫( Wichelgren, 1965)用數(shù)字和字 母混合進行實驗, 也證明了短時記憶中存在聽覺編碼。 但這些研究未 能排除語義編碼在刺激編碼中的作用。 考夫曼和威爾遜 ( Kaufuman & Wilson)對短時記憶的視覺編碼進行了研究，對猴子進行的圖形識別 實驗( Kaufuman & Wilson, 1971)證明猴子進行短時記憶時,只能 對刺激進行視覺編碼。波斯納等( Posner, 1967, 1969)的實驗表明, 至少在部分時間內(nèi), 短時記憶的信息是以視覺編碼形式進行的。 短時 記憶的語義編碼也獲得了部

5、分實驗支持，如威肯斯（ Wickens，1970， 1972）對前攝抑制現(xiàn)象的研究，舒爾曼（ Shulman， 1972）對同一匹 配中語義混淆現(xiàn)象的研究等。國內(nèi)學者對短時記憶的編碼也進行了大量的研究， 尤其是漢字的 編碼方式。而這些研究越來越顯示： 短時記憶中可能存在視覺、 聽覺、 語義等多種編碼方式，對這些編碼方式的運用會受到許多因素的影 響。莫雷（ 1986）認為，短時記憶的編碼方式可能隨情境而變化，如 在漢字情境中采用視覺編碼而在英語情境中采用聽覺編碼。劉愛倫 （ 1989）、鄭涌（ 1991）等的實驗結(jié)果也表明，不同的感覺通道（視 覺和聽覺） 的刺激會改變短時記憶的編碼方式。 以英語

6、專業(yè)和非英語 專業(yè)中國大學生為被試， 以英文實驗材料為刺激， 發(fā)現(xiàn)非專業(yè)組被試 總體上偏好于視覺編碼， 專業(yè)組被試總體上偏好于聽覺編碼。 本實驗 將要重復的波斯納的經(jīng)典實驗也表明， 在不同時間間隔下被試對刺激 的編碼方式有所不同。反應時（reaction time）,亦稱“動作反應時”，“反應潛伏期”。 即從刺激呈現(xiàn)到有機體做出反應之間所需的最短時間。 最初的反應時 研究僅僅用于測定神經(jīng)的傳導速度， 之后漸漸被用于推斷復雜的心理 加工過程。唐德斯（的反應時ABC （ABC of reaction time）理論是這種應用的成功代表，其減數(shù)法的思想沿用至 今；馮特也積極地將反應時可表征的心理過程

7、大大拓展， 但由于當時 的研究水平所限，其效果并不理想。直到認知心理學出現(xiàn)，反應時又 被廣泛應用于探究心理活動的機制，并衍生出減數(shù)法、加因素法、開 窗實驗等諸多實驗范式。 在認知心理學中， 減法反應時既可用于研究 某一個信息加工階段或特征，也可用于研究一系列連續(xù)的加工階段。 其理論依據(jù)是：如果一個加工過程包含另一個加工過程所沒有的心理 加工過程，則兩個加工過程的反應時差異可表征這個多出的心理加工 過程。但將減數(shù)法應用于心理過程的推斷應高度謹慎： 實驗者應對實 驗任務引起的刺激與反應之間的一系列心理過程有比較精確的預測， 并要求兩個相減的任務中共有的心理過程要嚴格匹配。 波斯納等成功 地應用減數(shù)

8、法反應時實驗， 證明了某些短時記憶信息可以有視覺編碼 和聽覺編碼兩個連續(xù)的階段， 這是認知心理學上的重大發(fā)現(xiàn)， 同時具 有很強的方法學意義。2 研究方法2.1 被試 華東師范大學心理學系本科學生 3 名 實驗儀器計算機及PsyTech心理實驗系統(tǒng)222實驗材料英文字母大寫A、B和小寫a、b的不同組合，其中AA（6次）、 BB（ 6 次）。Aa （6 次）、Bb （6 次）、AB （3 次）、BA （3 次），Ab（ 3 次）、Ba （3次）共36次（參數(shù)設(shè)置中如選72次則重復呈現(xiàn)2遍； 108次則重復呈現(xiàn)3遍）。2.3實驗步驟（1）登錄并打開PsyTech心理實驗軟件主界面，選中實驗列表中 的

9、“短時記憶的視覺和聽覺編碼”。單擊呈現(xiàn)實驗簡介。點擊“進入 實驗”到“操作向?qū)А贝翱?。實驗者可進行參數(shù)設(shè)置（或使用默認 參數(shù)），然后點擊“開始實驗”按鈕進入指導語界面?？上冗M行練習 實驗，也可以直接點擊“正式實驗”按鈕開始。（2）被試閱讀指導語。當被試明白實驗步驟后可進行一組練習。 練習結(jié)束后點擊“正式實驗”按鈕開始。（3）實驗開始后屏幕每次呈現(xiàn)兩個字母， 有3種呈現(xiàn)形式：同時 呈現(xiàn)、一個字母比另一個字母延遲 0.5秒后呈現(xiàn)、一個字母比另一個 字母延遲2秒后呈現(xiàn)。3種形式隨機呈現(xiàn)。被試判斷呈現(xiàn)的兩個字母 是否相同并作出反應，記錄反應時。（4）實驗結(jié)束，數(shù)據(jù)被自動保存。實驗者可直接查看結(jié)果，也可

10、 換被試繼續(xù)試驗，結(jié)果可在主界面“數(shù)據(jù)”菜單中查看。3結(jié)果3.1 不同類型的子母匹配在不同間隔時間下被試正確反應時的平均 數(shù)和標準差表1正確反應時的平均數(shù)和標準差音同形同0毫秒音同形 異音異形異音同形同500毫秒 音同形 異音異形異音同形同2000毫秒 音同形 異音異形異Mean534.04610.58673.40536.39544.82604.04489.00490.95527.87std88.62128.5772.645188.57125.36179.9493.05105.10137.34時應反oooo ooooo oooo oooo 00765 4321圖1不同間隔時間正確反應時的變化+

11、音同形同音同形異音異形異05002000間隔時間（m9從圖中可以看出，在刺激間隔為 0ms時，音同形同、音同形異、 音異形異三種不同的匹配其反應時有明顯差異；隨著間隔時間的增 大，反應時均有所下降，并逐漸趨同，至2000ms時幾乎重合為一點,三種不同的刺激匹配下，不同間隔時間所對應的反應時差異在下 圖中體現(xiàn)更為明顯。圖2不同刺激匹配下的正確反應時音同形同音同形異音異形異0ms Zi 500ms _ 2000msooooooooo oooooooo 8 76 54321時應反3.2 one-way ANOVA 差異檢驗刺激音同形同時，三種延遲時間下反應時沒有顯著差異F=0.991，p=0.407

12、, Mean=520.26, Std=132.08 ;刺激音同形異時，三種延遲時 間下反應時有極其顯著差異 F=5.085，p=0.0090.01，Mean=545.83 Std=127.32，具體分析，0ms與2000ms下的反應時有顯著差異 p=0.0020.01 ；刺激音異形異時，三種延遲時間下反應時有極其顯著 差異 F=6.262，p=0.0030.01，Mean=600.72, Std=148.46，具體分 析，0ms與2000ms下的反應時有顯著差異p0.001。可見實驗材料（刺 激）同質(zhì)性越強，反應時越短，差異越不顯著。間隔Oms時，三種不同實驗材料反應時有極其顯著差異F=11.

13、512,pvO.001 , Mean二604.67, Std=112.72，具體分析，三種不同的實驗材 料兩兩之間均有顯著差異，音同形同與音同形異p=0.0140.05，音同形異與音異形異p=0.0440.05，音同形同與音異形異p0.001。間 隔500ms時，三種不同實驗材料反應時無顯著差異 F=1.121 ,p=0.332， Mean=561.75, Std=167.28。間隔2000ms時，三種不同實驗材料反應 時無顯著差異 F=0.839, p=0.437，Mean二502.99, Std=113.52?？梢?， 隨著時間間隔的增大,差異減小。3.3 Univariate Analys

14、is of Variance 差異檢驗 以時間間隔和實驗材料（刺激匹配）為兩個因素對反應時進行 Univariate Analysis of Variance 差異檢驗。實驗材料主效應顯著 F=6.892, p=0.0010.01 ；時間間隔主效應顯著 F=10.348, p音同形異音同形同；在間隔時 間為500ms和1000ms時均無顯著差異，且p值增大顯示差異減小?？疾煲敉瓮鸵敉萎悆煞N材料的反應時變化。這兩種反應任 務都是首先判斷兩個字符是否為同一個字母,然后去按表示“相同” 的反應鍵。根據(jù)減數(shù)法的邏輯,在 0間隔的情況下,音同形異任務的 反應時比音同形同任務的反應時長, 說明前者有

15、后者所不具有的心理 加工過程, 且該過程所占用的時長就是反應時的差值。 兩種操作的動 作反應是一樣的, 區(qū)別只能發(fā)生在判斷過程中。 要確認兩字符是同一 個字母,對于音同形同的材料可以由外形（輪廓）相同來確認,也可 以由讀音相同來確認；對于音同形異的材料只能由讀音相同來確認。 外形確認需要視覺編碼,讀音確認需要聽覺編碼。由于“確認”是動 作反應前的最后一個步驟, 所以對音同形異材料進行心理加工的最后 一步是基于聽覺編碼的讀音判斷。 由于字符信息是由視覺傳入的, 視 覺編碼如果存在, 必然發(fā)生在聽覺編碼之前。 結(jié)合減數(shù)法的實驗邏輯, 兩種反應時的差值正是多出的那種心理加工過程。 這種過程只能是聽

16、覺編碼。音同形同材料可以經(jīng)由外型相同來確認, 不必再經(jīng)過聽覺編 碼,節(jié)省了一步,故反應時相對減小。隨著時間間隔的延長, 兩種實驗任務的反應時漸漸趨同, 在 500ms 時已沒有顯著差異。 該過程中音同形異任務的判斷步驟與 0 間隔情況 相同；對音同形同的任務而言， 反應時的相對增加意味著心理加工過 程的增加， 從而與音同形異任務的加工過程趨于一致。 這一增加的心 理過程就是刺激的聽覺編碼。 這驗證了該情境下短時記憶首先進行視 覺編碼，然后進行聽覺編碼的程序。4.2對于音異形異的實驗材料，其心理加工階段應與音同形異的材料 相同：首先經(jīng)過視覺編碼，視覺編碼不足以確認兩字符“相同”還是 “不同”，隨

17、后進行聽覺編碼，根據(jù)讀音確認兩字符不同，然后作出 按“”鍵的反應。即：視覺編碼 - 輪廓確認，聽覺編碼 -讀音確認。 直到讀音確認為不同，被試才能做出“不同”的判斷。這就可以解釋 在 0 間隔時音異形異材料和音同形同材料在反應時上的顯著差異， 以 及二者在 500ms 后的無差異。而音異形異材料相對于音同形異材料在 0 間隔情況下的顯著差異 無法用上面的理論來解釋。 因為兩者的編碼方式和步驟相同， 所以反 應時差異所代表的心理加工過程也與編碼方式無關(guān)。 我們猜想： 這是 由實驗材料的復雜程度決定的。 本實驗中， 音異形異材料的構(gòu)成最為 復雜，有 AB ，Ab，aB，ab 四種情況，較難隨練習迅

18、速提高反應速 度。4.3 本實驗與波斯納經(jīng)典實驗結(jié)果的不同之處在于隨延遲時間的加長 反應時的縮短。由圖 2 可見：三種實驗材料的情況下，反應時都隨著 間隔時間的延長而縮短。 方差分析也表明： 在音同形異和音異形異的 情況下，延遲2000ms的反應時顯著短于0間隔的反應時。波斯納的 實驗中，隨著延遲的增加， 音同形同材料的反應時會逐漸上升，從而 與音同形異材料的反應時趨同。 這根據(jù)短時記憶的編碼理論似乎很容 易解釋：隨著時間的延遲， 視覺編碼的作用逐漸消失，聽覺編碼的作 用逐漸增大，從而反應時也逐漸增加。但仔細分析不同延遲時間下的操作任務，會發(fā)現(xiàn)無延遲（ 0 間隔） 和有延遲情況下的操作任務并不

19、完全相同。 在無延遲的情況下， 被試 要在刺激呈現(xiàn)之后首先進行視覺編碼， 然后進行聽覺編碼， 同時以最 快的速度對“相同”與“不同”進行確認。音同形同的材料在視覺編 碼的基礎(chǔ)上即可得到確認， 不及進入聽覺編碼環(huán)節(jié)， 故反應時短于另 外兩種材料。 在有延遲的情況下， 被試在延遲的時間段內(nèi)完成了第一 個字母的聲音編碼， 將較為復雜的兩字母音形判斷任務轉(zhuǎn)化為較簡單 的單字母讀音判斷任務。 反應時由第二個字符呈現(xiàn)開始計數(shù)， 這之后 被試的心理加工僅僅是對這一個字母的注意和編碼， 而不像 0 間隔任 務中對兩個字母注意并編碼。 根據(jù)減數(shù)法反應時理論， 后者的反應時 應當比前者更長。而在延遲時間由500m

20、s上升到2000ms時，雖然被試的操作任務 和刺激的編碼方式都完全相同，但反應時仍然出現(xiàn)下降。我們認為： 這是由于判斷策略的應用。 本實驗中， 作出按鍵反應的唯一依據(jù)是聲 音的異同， 在進行了視覺編碼的基礎(chǔ)上， 如何最快地進行比較和確認 是影響反應時的關(guān)鍵。 在無延遲的情況下， 被試只能同時對兩個字符 進行編碼和比較； 隨著延遲的加長， 被試在延遲時段中可以完成第一 個字符的聲音編碼， 設(shè)想下一個字符的聲音編碼的可能情形， 并最終 把注意集中到某一種情形， 期待下一個字符的出現(xiàn)。 這種良好的準備 是無延遲狀態(tài)下所沒有的， 并且隨著延遲的增加， 準備可以做得更加 充分，表現(xiàn)出反應時的下降。本實驗

21、最長延遲為2000ms,至此反應時達到最低。若再增加多個 延遲，可能會發(fā)現(xiàn)反應時降低到一定程度就維持恒定。 反應時肯定不 能逾越生理的限制而無限減小, 本實驗中僅選取三種延遲, 才會表現(xiàn) 出反應時隨間隔時間增大而保持降低,這類似于天花板效應。4.4從上面的討論可以看出,短時記憶的編碼方式體現(xiàn)在信息加工的 過程中,受到實驗材料、任務要求、操作策略等因素的影響。首先,短時記憶的編碼應當受到感覺傳入形式的影響。 本實驗中, 刺激材料以視覺信息的形式呈現(xiàn), 故首先經(jīng)由視覺編碼, 與頭腦中字 母的概念發(fā)生匹配, 轉(zhuǎn)化成相應的聽覺編碼, 從而在短時記憶中保持 并作為進一步的加工、 判斷的基礎(chǔ)。 如果刺激材料非由視覺信息形式 呈現(xiàn),比如通過朗讀向被試呈現(xiàn)材料, 很可能