結(jié)構(gòu)方程模型的約束最小二乘解與確定性算法

1、結(jié)構(gòu)方程模型的約束最小二乘解與確定性算法1)摘 要研究了結(jié)構(gòu)方程模型(SEM)的約束最小二乘解（CLS），從分析SEM的觀測方程組入手，發(fā)現(xiàn)了這個不定方程組的結(jié)構(gòu)變量與觀測變量必須滿足的最小二乘關(guān)系，在對結(jié)構(gòu)變量有固定模長參數(shù)約束的條件下，求出它的一組模長約束最小二乘解（MCLS）。MCLS 可以作為求解結(jié)構(gòu)方程組的偏最小二乘（PLS）迭代初值。在求得MCLS以后，在觀測方程組中改變模長，使得每個結(jié)構(gòu)變量所對應的與觀測變量的路徑系數(shù)滿足配方條件，是更為合理的約束，它可以保證結(jié)構(gòu)變量與所轄的觀測變量同質(zhì)。盡管觀測方程組是不定方程組，但是根據(jù)誤差平方和最小以及對路徑系數(shù)的配方約束，使得MCLS求解

2、為合理的確定性算法。然后再對結(jié)構(gòu)方程組直接求解，也是確定性算法，這就解決了結(jié)構(gòu)方程模型求解的唯一性問題。關(guān)鍵詞：結(jié)構(gòu)方程模型，約束最小二乘解，配方條件，確定性算法MR(2000)主題分類：62H12, 62J05THE CONSTRAINT LEST SQUARE SOLUTION AND DEFINITE ALGORITHM IN STRUCTURAL EQUATION MODELAbstractthe constraint least square solution in structural equation model (SEM) has been studied. By analys

3、is of the observation equations in SEM, the least square relationship between each structural variable and its observation variables is find. Adding a constraint with modular length to the structural variables, the modular constraint least square solution (MCLS) for observation equations is obtained

4、. This MCLS can be used as the initial value in PLS iterative process to improve its convergence. Furthermore it is reasonable to change the modular lengths of observation variables so that the path coefficients between the structure variable and its observation variables satisfy prescription condit

5、ions. This prescription conditions can guarantee the homogeneity of a structure variable with its observation variables. This algorithm is a determinate algorithm with the least square of errors and prescription conditions for the path coefficients, although the SEM is an indeterminate equations. Ke

6、ywords: Structural equation models, Constraint least square solution, Prescription conditions, Definite algorithm.2000 Mathematics Subject Classification：62H12, 62J051) 國家自然科學基金資助項目（30570611, 60773210）.1. 結(jié)構(gòu)方程模型結(jié)構(gòu)方程模型（SEM）是應用統(tǒng)計領(lǐng)域近來發(fā)展迅速的一個分支，廣泛應用于心理學、社會學等領(lǐng)域，尤其是顧客滿意指數(shù)（CSI）分析模型(12)。由于ISO9000系列標準和卓越績效國家

7、標準要求顧客滿意指數(shù)分析，SEM的計算就顯得非常重要。SEM包括兩個方程組，一個是結(jié)構(gòu)變量之間的關(guān)系方程組，稱為結(jié)構(gòu)方程組，一個是結(jié)構(gòu)變量與觀測變量之間的關(guān)系方程組，稱為觀測方程組。圖1是中國顧客滿意指數(shù)模型，是一個典型的結(jié)構(gòu)方程模型。它含有6個結(jié)構(gòu)變量（隱含變量）、，11個關(guān)系（自變量作用的關(guān)系為，如虛線箭頭所示；因變量作用的關(guān)系為，如水平的實線箭頭所示）。每個結(jié)構(gòu)變量帶有若干個觀測變量（如圖所示的若干問題，它們是顧客滿意度調(diào)查問卷中的實際問題）。預期質(zhì)量 品牌形象 感知價值 顧客滿意度 顧客忠誠 感知質(zhì)量 調(diào)查問卷的5個問題x11,x15調(diào)查問卷的4個問題y11,y14調(diào)查問卷的3個問題y

8、21,y23調(diào)查問卷的5個問題y31,y35調(diào)查問卷的4個問題y41,y44調(diào)查問卷的3個問題y51,y53圖1. 中國顧客滿意度模型結(jié)構(gòu)方程模型也可以視為二級指標匯總問題。圖1中的結(jié)構(gòu)變量、是一級指標，它們是虛擬的，沒有直接的觀測值。觀測變量是二級指標，是有實際觀測值的。在顧客滿意度調(diào)查問卷中，這些觀測值是顧客對于調(diào)查問題的滿意程度，一般取值110。設一共有個觀測變量，對每一個觀測變量有個觀測，在顧客滿意指數(shù)分析中就是有個顧客的測評，這樣我們手里的數(shù)據(jù)是一個矩陣。對于結(jié)構(gòu)變量之間的關(guān)系我們可以得到如下結(jié)構(gòu)方程組： （1）結(jié)構(gòu)變量與觀測變量之間的關(guān)系也可以用方程表示出來。設結(jié)構(gòu)方程模型有個結(jié)構(gòu)

9、自變量和個結(jié)構(gòu)因變量，與結(jié)構(gòu)變量中的自變量對應的觀測變量為，這里是與第個結(jié)構(gòu)自變量相聯(lián)系的觀測變量個數(shù)，圖1的觀測變量而。與結(jié)構(gòu)變量中的因變量對應的觀測變量為，這里為與第個結(jié)構(gòu)因變量相聯(lián)系的觀測變量個數(shù)，圖1中而。則從觀測變量到結(jié)構(gòu)變量的觀測方程可以表達為： ， (2) ， (3)其中是從觀測變量到結(jié)構(gòu)變量的匯總系數(shù)，是隨機誤差項。根據(jù)路徑分析的思想，我們也可以認為觀測變量的變化是來源于它所對應的結(jié)構(gòu)變量，于是從結(jié)構(gòu)變量到觀測變量的觀測方程組還可以表達為： ， (4) , (5)其中、是從結(jié)構(gòu)變量到觀測變量的載荷系數(shù)，帶下標的還是誤差項。我們可以把（1）（2）（3）稱為帶有正向觀測的結(jié)構(gòu)方程模

10、型，而把（1）（4）（5）稱為帶有逆向觀測的結(jié)構(gòu)方程模型。在一般情形，結(jié)構(gòu)自變量不一定只有1個，結(jié)構(gòu)因變量也不一定是5個，結(jié)構(gòu)方程系數(shù)形式除了要求對角線是0外也可以不同于（1）。我們采用向量與矩陣記法一般描述結(jié)構(gòu)方程模型。記，設的系數(shù)矩陣為階方陣記為，的系數(shù)矩陣為階矩陣記為，殘差向量為，則結(jié)構(gòu)方程組（1）可以一般表示為： (6)記觀測向量，,再記系數(shù)，則方程組（6）（2）（3）合并為 (7)則我們稱為帶有正向觀測的結(jié)構(gòu)方程模型。記，則觀測方程組（4）可以表示為：， (8)（5）可以表示為：， (9)方程組（6）（8）（9）合并為 (10)則我們稱為帶有逆向觀測的結(jié)構(gòu)方程模型。2. 協(xié)方差擬合算

11、法與偏最小二乘算法求解結(jié)構(gòu)方程模型，目前已有的方法主要有兩個，協(xié)方差擬合算法與偏最小二乘算法。這一節(jié)我們簡要敘述這兩種算法。為了敘述簡便，我們采用矩陣記法。在（8）中令，；在（9）中令，其中是單位方陣，則（8）（9）可以表為： (11) (12)協(xié)方差擬合（Linear Structure RELationship，LISREL)算法是從出發(fā)，將樣本協(xié)方差陣與模型協(xié)方差陣進行擬合。為了簡單表達模型協(xié)方差陣，我們對變量和殘差有均值假定：，還有相關(guān)假定：，這里的0是零向量或者零矩陣。同時我們簡記協(xié)方差陣：，則模型協(xié)方差陣為 (13)由于和假設，故。由結(jié)構(gòu)方程(6)有，令，則。于是計算出，以及 。將

12、這些結(jié)果代入（13）式就可以得到模型協(xié)方差陣的表達式，其中含有模型中未知而待估的各個參數(shù)。樣本協(xié)方差陣可以根據(jù)觀測樣本矩陣計算出來，然后采用擬合函數(shù)，例如，是一適當?shù)木仃?，使擬合函數(shù)達到最小值，從而計算出各個參數(shù)的估計。PLS方法是從出發(fā)，先在（2）（3）給任意初值，于是可以根據(jù)已知的觀測變量的值，利用公式（2）（3）求出結(jié)構(gòu)變量的值。結(jié)構(gòu)方程的變量有了數(shù)值，就可以對結(jié)構(gòu)方程組（6）求最小二乘解，于是有了系數(shù)的估計值，進而有了變量的估計值。結(jié)構(gòu)變量與觀測變量都有了數(shù)值，就可以對方程組（2）（3）求解，此時的就有了估計值，而不再是任給的初值。有了估計值，就可以回到迭代起點，開始新一輪迭代。迭代收

13、斂控制可以選取迭代過程中所有對應元素的差值小于指定的誤差精度。上述迭代過程可以表示為：這里表示外生估計值，即由觀測方程組得到的估計值，而表示內(nèi)生估計值，即由結(jié)構(gòu)方程組得到的估計值。 這兩個算法都存在計算的收斂性、收斂速度和解的唯一性問題。本文著力解決這方面的問題，找到了模型的確定性算法，下面分段敘述。3. 基于向量模長約束的最小二乘解我們仔細分析結(jié)構(gòu)方程模型的觀測方程組，可以發(fā)現(xiàn)這個不定方程組的結(jié)構(gòu)變量與觀測變量必須滿足的最小二乘關(guān)系。在對結(jié)構(gòu)變量模長約束的條件下，我們可以求出它的最小二乘解，不必迭代，進而求出SEM模型的解。先敘述觀測方程組解的一些基本性質(zhì)。性質(zhì)1. 結(jié)構(gòu)方程模型或者的解并不

14、唯一，可以相差一個非零常數(shù)倍。顯然，若是結(jié)構(gòu)方程模型的一組解，則也是一組解，這里是任一非零常數(shù)。因此我們可以在、為單位向量的條件下求解。性質(zhì)2. 結(jié)構(gòu)方程模型存在當然0解，但是并不存在當然0解。這是因為觀測變量有實際觀測值，一般是非零的。性質(zhì)3. 結(jié)構(gòu)方程模型或者的解在最小二乘意義和一定系數(shù)約束條件下（，）等價。這個性質(zhì)可以從觀測方程組的變量替換得出結(jié)論，因此的最小二乘解也是的最小二乘解。已往的PLS算法是利用進行的，但是我們推導基于單位向量約束的最小二乘解時將和LISREL算法一樣，利用。考慮帶逆向觀測的觀測方程組，以（5）為例。在（5）中實際有個方程組，每個方程組中又包含個方程：， (14

15、)注意到一個變量要同時滿足個線性關(guān)系，實際上是矛盾方程組。對于矛盾方程組自然想到應該找最小二乘關(guān)系，采用最小二乘解?？紤]結(jié)構(gòu)向量，它是一個維向量，其第個分量應該同時滿足與個向量的第個分量的線性關(guān)系，寫出來就是：， (15)寫成向量形式就是 ， (16)它是觀測向量的橫切向量之間的關(guān)系。在（16）兩邊左乘前的轉(zhuǎn)置向量，不計誤差項得，這里。參照標準的多元線性回歸模型，這里的因變量是，自變量是，?，F(xiàn)在因變量是未知的，不能馬上求解。由于性質(zhì)1，我們可以假定因變量的模長為1，就可以求解了。下面我們采用更簡捷的推導形式。對于（9），設觀測變量各有個觀測，則為的矩陣。作乘積，如果取結(jié)構(gòu)變量為單位向量，即，則

16、有。這是兩個的矩陣在最小二乘意義下的近似相等，寫詳細一些就是： (17)注意左邊的元素是兩個向量相乘得到的數(shù)，右邊的元素是數(shù)與數(shù)相乘得到的數(shù)。取對角線的元素相等，即得：， (18)對于自變量也有類似結(jié)果。這樣我們得到了觀測變量與結(jié)構(gòu)變量之間的系數(shù)的最小二乘意義下的解，即得到向量的估計值。我們再來估計結(jié)構(gòu)變量。已設，我們要逐個估計它的分量。在(16)中根據(jù)最小二乘原理，我們又有了的最小二乘估計： (19)， (20)這里的是已經(jīng)估計出來的值。類似我們可以估計出與。這樣我們得到了全部結(jié)構(gòu)變量的估計值，它是在模長約束下的最小二乘解（MCLS），滿足 (21)其幾何意義是求一個單位球面與一個超平面的距

17、離?？偨Y(jié)上述推導，我們有關(guān)于MCLS的算法1。算法1. 基于結(jié)構(gòu)向量模長約束的SEM最小二乘解MCLS。步驟1. 在模型中，假定結(jié)構(gòu)向量都為單位向量，計算觀測變量與對應結(jié)構(gòu)變量之間系數(shù)的最小二乘估計: ， (22)， (23)步驟2. 在模型中，利用步驟1得到的系數(shù)估計值，計算結(jié)構(gòu)變量的最小二乘估計: ,， (24)這里是觀測向量的橫切向量：，。步驟3. 利用步驟2得到的結(jié)構(gòu)變量估計值，在（2）（3）中按照普通線性回歸計算匯總系數(shù)。步驟4. 在結(jié)構(gòu)方程組（6）中，利用步驟2得到的結(jié)構(gòu)變量估計值，計算系數(shù)矩陣的估計值。注意（6）是一個普通的線性回歸方程組，可以按照二階段最小二乘方法求出它的解。4

18、. MCLS無偏性的改進上一節(jié)的近似等式（17）實際上忽略了殘差項的方差，因此估計的無偏性存在缺陷，需要改進。我們繼續(xù)考慮（3）或（9）式，如果假定結(jié)構(gòu)變量與殘差變量彼此獨立， ，則由（9）可得： (25)是對角矩陣，記為 (26)于是（17）的矩陣對角線成為， (27)我們需要先估計出。按照因子分析的方法，令，則，設矩陣的對角線元素為，則可以取估計， (28)有了估計，我們可以輕松地在（27）中計算出的估計，而不必像因子分析那樣去計算正交變換來估計整個矩陣。總結(jié)上述推導，我們有關(guān)于MCLS的算法2。算法2. 對算法1的步驟1的改進。步驟 . 在模型中，假定結(jié)構(gòu)向量都為單位向量，計算觀測變量與

19、對應結(jié)構(gòu)變量之間系數(shù)的最小二乘估計: ， (29)， (30)其中，而與分別是矩陣與的對角線元素，這里，。 由于這里的假設較多，取舍較多，所以我們并不能說完全獲得了無偏估計，而只是說改進了估計的無偏性。5. 配方約束的確定性算法第三節(jié)我們在對結(jié)構(gòu)變量模長單位向量的約束下，得到模長約束下的最小二乘解MCLS。在結(jié)構(gòu)方程（1）或者（6）中，如果每個結(jié)構(gòu)變量都乘以同一個倍數(shù)，根據(jù)第三節(jié)性質(zhì)1，它的系數(shù)解是相同的。從這一點看，結(jié)構(gòu)方程的解不在乎結(jié)構(gòu)變量的模長。但是人為規(guī)定每個結(jié)構(gòu)變量的模長都是1，卻缺乏理論和實踐依據(jù)。如果可能存在的最優(yōu)解集里每個結(jié)構(gòu)變量的模長并不相等，那么MCLS就不好了。我們需要進

20、一步探索。一個合理的辦法是令每個結(jié)構(gòu)變量帶上待定的模長參數(shù)，參加結(jié)構(gòu)方程（1）或者（6）求解。這個解的誤差平方和含有個模長參數(shù)。改變這些模長參數(shù)使得誤差平方和最小是合理的，這樣得到的每個結(jié)構(gòu)變量模長也就是合理的。這個多元變量的極值問題雖然比漫無目標的偏最小二乘迭代好像要確定一些，但是熟悉多元變量極值求解問題的都知道，實際求解過程和結(jié)果都還比較復雜，而且免不了還是迭代，甚至是非線性迭代。另一條探索途徑是尋找更為合理的約束來取代模長約束。我們考慮在求得MCLS以后，在觀測方程組中改變模長，使得每個結(jié)構(gòu)變量所對應的與觀測變量的路徑系數(shù)滿足配方條件。在方程（2）（3）中，配方條件就是 , ， (31)

21、, ， (32)這個配方條件的計算分兩種情況。如果開始時MCLS的相應路徑系數(shù)都非負，那么很簡單，只需要在方程（2）（3）中兩邊同時除以一個倍數(shù)即可，這個倍數(shù)應該是MCLS的相應路徑系數(shù)之和。例如在方程（2）中如果對應第個結(jié)構(gòu)變量的系數(shù)之和為，則在（2）中兩邊同時除以常數(shù)。這樣新的匯總系數(shù)滿足，而結(jié)構(gòu)變量模長變?yōu)?。如果開始時MCLS的相應路徑系數(shù)有負數(shù)，我們并不能完全照搬1213中的方法，因為這里的回歸因變量還不是完全已知的。我們現(xiàn)在知道回歸因變量的方向，但是模長待定。根據(jù)12中的定理，初始回歸系數(shù)有負數(shù)的，其配方回歸系數(shù)應該為0。因此我們可以先對采用算法1，求得MCLS，此時的因變量模長為1

22、。求得初始回歸系數(shù)如果有為非正數(shù)的，則在配方回歸中去掉該自變量，即認定對應的配方回歸系數(shù)為0。再在方程（2）（3）中兩邊同時除以一個倍數(shù)，這個倍數(shù)應該是MCLS的相應非負路徑系數(shù)之和，如同上段討論的那樣。這樣的配方約束還可以繼續(xù)改進，因為如果初始回歸系數(shù)有為非正數(shù)的，就會把一些觀測變量去掉了。為了避免這種情況，我們可以將配方條件改為 和，這里是大于0的某一正數(shù)。如果初始回歸系數(shù)有小于的，一律改為，并且將對應的自變量乘以移到方程左邊，再作一次普通回歸。對新的回歸系數(shù)作配方調(diào)整時，其倍數(shù)應該是1減去移到左邊的之和。最后再將移到左邊的自變量移回到方程右邊。這樣的調(diào)整既保證了右邊回歸系數(shù)之和為1，也保

23、證了系數(shù)不改變?？偨Y(jié)上述分析，我們有關(guān)于MCLS的算法3。算法3. 對算法1的步驟3的改進。步驟 .利用步驟2得到結(jié)構(gòu)變量估計值以后，在（2）（3）中采用配方回歸計算匯總系數(shù)，并重新計算的估計值。1）直接利用算法1的步驟2得到的，在（2）（3）中用普通回歸計算。2）對任一，如果對一切有，（），而，則 在（2）兩邊同時除以。同樣的，對任一，如果對一切有，（），而，則在（3）兩邊同時除以。對所有的檢查完畢后轉(zhuǎn)算法1的步驟4。3）對任一，如果有某一有或者，（），則令該項固定，即或者。對所有的檢查完畢后轉(zhuǎn)步驟1）到2）。注意一個多元線性回歸過程中，如果方程右邊的某一自變量的系數(shù)已經(jīng)被固定，則應將其移項

24、到方程左邊，與因變量合并，再作回歸。回歸以后，再將該項移項到方程右邊。6. 總結(jié)與算例本文主要報告了我們的兩項工作。一個是在結(jié)構(gòu)方程模型的帶逆向觀測的觀測方程組中發(fā)現(xiàn)了結(jié)構(gòu)變量與觀測變量之間的最小二乘關(guān)系，在對結(jié)構(gòu)變量的單位長度約束下，求出了結(jié)構(gòu)變量和載荷系數(shù)的最小二乘解MCLS。這個MCLS既可以作為普通偏最小二乘算法PLS的迭代初值，改善PLS的收斂性，又為SEM的確定性算法奠定了基礎。另一項工作是在帶正向觀測的觀測方程組中，采用配方回歸，基于MCLS而改變它的模長，從而實現(xiàn)了結(jié)構(gòu)方程模型的確定性算法。配方約束是合理的約束，它可以保證結(jié)構(gòu)變量與所轄的觀測變量同質(zhì)。這里同質(zhì)的含義是取值范圍相

25、同，并且基本變化相同。例如許多顧客滿意度的觀測變量范圍是取值1到10分，那么配方約束產(chǎn)生的結(jié)構(gòu)變量也是1到10分；觀測變量的分值較高，則結(jié)構(gòu)變量的分值也較高；如果所有的觀測變量都相同，那么相應的結(jié)構(gòu)變量也應該和它們相同。作為一個算例，我們看第一節(jié)的中國顧客滿意度模型。觀測樣本個數(shù)（觀測數(shù)據(jù)行數(shù)） 我們從簡取為N= 10；每個結(jié)構(gòu)變量所帶的觀測變量個數(shù)已經(jīng)設定分別為5，4，3，5，4，3，所以樣本列數(shù)為24；結(jié)構(gòu)變量的個數(shù)為 6，其中自變量個數(shù)為 1, 因變量個數(shù)為 5。輸入這些參數(shù)以及原始觀測數(shù)據(jù)，就可以開始計算了。原始觀測數(shù)據(jù)如下：927552977945899579494769859647

26、973973679439776968347533425999955395399954395599778297867798334568483455322689559759682272939497932386274452686962942635592236266835429942942892943285458962793855687596487799835594684787877985597577298952592535打印結(jié)構(gòu)方程計算結(jié)果，左邊5×5是矩陣，右邊一列是矩陣：0.0000000.0000000.0000000.0000000.0000000.7963700.2245750

27、.0000000.0000000.0000000.0000000.9355170.0791100.1827380.0000000.0000000.0000000.752740-0.1936050.1937110.4484000.0000000.0000000.3097310.0000000.0000000.0000001.0351550.0000000.000000打印結(jié)構(gòu)變量的估計值，第一列是自變量的，其余各列是因變量的。0.2751290.7001850.4999040.5162840.4032950.6020770.5317820.3175850.3003850.4105960.6990

28、120.6013850.3898920.4871360.9000000.3319690.3098850.4993080.8360390.7956500.7001920.7054480.3009880.6013850.7559900.2000930.8999040.6895830.5973640.6965390.3652200.2049060.6001920.3903620.6013180.5972310.4520640.2300780.5997120.7682700.4036240.3986160.4540520.3048140.5002880.8737780.6973640.5000000.

29、7786570.7039790.9000000.5159250.5993410.7993080.7111020.7083290.7000000.8637210.4996710.301384如果我們不采用本文的基于配方回歸約束的確定性算法，那么結(jié)構(gòu)變量的估計值就可能出現(xiàn)負數(shù)，顯然是不合理的。我們的計算程序有多種模型選擇和多種參數(shù)選擇，也有更為豐富的輸出結(jié)果，這里不再贅述。它已經(jīng)收入了我們的軟件DASC，可以在“計算園地”網(wǎng)站下載。參 考 文 獻1 Claes Fornel, Michael D. Johnson, et al. The American customer satisfaction

30、 index: nature, popurse, and findings. Journal of Marketing, 1996, 60:7-182 國家質(zhì)檢總局質(zhì)量管理司，清華大學中國企業(yè)研究中心.中國顧客滿意指數(shù)指南. 北京：中國標準出版社，20033 Iñón, F.A., Llario, R. et al. Development of a PLS based method for determination of the quality of beers by use of NIR: spectral ranges and sample-introduction

31、 considerations. Analytical and Bioanalytical Chemistry, Springer Berlin Heidelberg, 2005, 382(7): 1549-1561. 4 M. Tenenhaus, V.E. Vinzi, Y.M. Chatelin, C. Lauro. PLS path modeling. Computational Statistics and Data Analysis, 2005, 48: 1592055 V. Stan, G. Saporta. Customer satisfaction and PLS structural equation modeling. An Application to Automobile Ma