支援學(xué)習(xí)困難診斷之多目標(biāo)試題配置最佳化演算法

1、支援學(xué)習(xí)困難診斷之多目標(biāo)試題配置最佳化演算法國立臺南大學(xué) 數(shù)位學(xué)習(xí)科技系 黃國禎l 處理大型題庫試卷組合配置問題l 提供符合多目標(biāo)的試題配置演算法l 有效率的求出近似最佳之試題配置結(jié)果在教學(xué)的過程中，如何評量學(xué)生的學(xué)習(xí)成就是一個廣受重視的議題，而測驗(yàn)是評量學(xué)習(xí)成就的重要方式之一。在數(shù)位學(xué)習(xí)環(huán)境中，測驗(yàn)的方式及目的是多樣化的，可能是提供學(xué)生重複演練的模擬考試，也可能是配合適性化學(xué)習(xí)的能力鑑定測驗(yàn)，甚至於是用來觀察學(xué)生能力改變的一系列考試。一個高品質(zhì)的測驗(yàn)，除了受到試題本身的影響之外，如何由龐大的數(shù)位化題庫中組合一份符合評量目標(biāo)的試卷，亦是一個重要的因素。而為了有效地達(dá)到評量的目的，在組合試卷時往

2、往需要考慮多個參數(shù)，例如鑑別度、難度、測驗(yàn)時間及相關(guān)能力指標(biāo)的比重分布。然而要從數(shù)量龐大的題目選取一組符合多個目標(biāo)的試卷不僅困難，而且若以傳統(tǒng)的演算法來求最佳化的試題組合，將花費(fèi)數(shù)年，甚至於數(shù)十年才能組成一份試卷，因?yàn)榭赡艿慕M合將隨題庫所含的題目數(shù)量呈指數(shù)成長。為了滿足數(shù)位學(xué)習(xí)環(huán)境的實(shí)際需求，臺南大學(xué)理工學(xué)院暨教育學(xué)院的研究團(tuán)隊(duì)自2003/5/1至2006/4/30進(jìn)行的國科會計劃智慧型多媒體學(xué)習(xí)內(nèi)容管理系統(tǒng)之研製、應(yīng)用與評估智慧型個人化題庫系統(tǒng)之建置與管理即針對這個問題進(jìn)行深入的探討。首先我們嘗試將多目標(biāo)的試卷組合問題分成兩類：固定題數(shù)或限定測驗(yàn)時間範(fàn)圍，並定義出目標(biāo)及限制式；例如在符合多個

3、學(xué)習(xí)概念的最低配題比重及測驗(yàn)時間限制下，找出一組鑑別度最高的考題，或是設(shè)計出一張最接近指定難度的試卷。為了能符合數(shù)位學(xué)習(xí)產(chǎn)業(yè)在處理大型題庫時的組合試卷需求，我們應(yīng)用了多個人工智慧的演算法，期盼能提昇試卷組合的效率及品質(zhì)。研究成果發(fā)現(xiàn)，我們所提出的演算法可處理包含50000個試題的大型題庫，對於支援實(shí)際數(shù)位學(xué)習(xí)環(huán)境的各式測驗(yàn)與評量有很大的幫助；該成果並發(fā)表在多個SSCI及SCI期刊。目前相關(guān)研究仍然持續(xù)進(jìn)行，主要是在數(shù)位學(xué)習(xí)環(huán)境中，測驗(yàn)的型態(tài)及需求是多樣化的，而上述的研究只解決了標(biāo)準(zhǔn)的試卷組合問題。因此，我們正致力於一些特殊評量需求的研究，例如設(shè)計長時間觀察學(xué)生能力變化的一系列測驗(yàn)，以及預(yù)防洩題

4、並具有補(bǔ)考功用的平行組卷問題等。l 建置線上測驗(yàn)及學(xué)習(xí)困難診斷系統(tǒng)在學(xué)習(xí)過程中，評估與測驗(yàn)是非常重要的一環(huán)，它不僅顯示出學(xué)生的學(xué)習(xí)成效，也對診斷學(xué)生的學(xué)習(xí)困難提供有用的線索。在遠(yuǎn)距學(xué)習(xí)環(huán)境中，由於學(xué)生的自主性提昇，相對的遭遇各種學(xué)習(xí)困難的複雜度亦可能增加，除了加強(qiáng)教材內(nèi)容之外，更需要有效的提供學(xué)習(xí)指導(dǎo)；因此，如何建立所以一個網(wǎng)路測驗(yàn)與診斷系統(tǒng)，來協(xié)助學(xué)生克服障礙，提高學(xué)習(xí)成效，是一個值得重視的問題。為了從測驗(yàn)中診斷學(xué)習(xí)上的問題，必須就整體課程結(jié)構(gòu)深入探究。在一般而言，教材具有樹狀之組織結(jié)構(gòu)，通常是依照章、節(jié)、重點(diǎn)概念而建構(gòu)。這樣的組織型態(tài)實(shí)際上對於提供學(xué)習(xí)診斷系統(tǒng)作為分析診斷之依據(jù)並無太大助益

5、，因?yàn)樗鶅?nèi)含的資訊是稀少的。通常一個概念的形成是由一個或一個以上的基礎(chǔ)概念所奠基而組成的，或者可以這樣說，要學(xué)習(xí)一項(xiàng)概念或技術(shù)必須具備一些基本能力。例如，要學(xué)跑步必須先學(xué)會走路、要學(xué)“乘法”必須先具備“加法”的概念、要當(dāng)救生員必須先學(xué)會游泳。舉凡這種具有先後次序關(guān)係，或是一個概念之中隱含其他基本概念的行為模式，正是一種很基本的學(xué)習(xí)過程?；哆@種基本的學(xué)習(xí)概念與模式，並且為了配合學(xué)習(xí)診斷系統(tǒng)的分析需求，我們有必要重新建構(gòu)課程結(jié)構(gòu)。讓我們來思考以下的問題假設(shè)有一數(shù)學(xué)課程，其內(nèi)容主要是要教授學(xué)生“數(shù)”的概念，共分成四節(jié)，一、整數(shù)，二、有理數(shù)與實(shí)數(shù)，三、複數(shù)及其運(yùn)，四、一元二次方程式根的討論。在第一

6、小節(jié)中有幾個重要概念，如因數(shù)、倍數(shù)、質(zhì)數(shù)、公因數(shù)、公倍數(shù)、最大公因數(shù)、最小公倍數(shù)。若是依照傳統(tǒng)樹狀結(jié)構(gòu)來編排教材，此單元會有如圖1之結(jié)構(gòu)。這樣的編排僅僅提供給我們教材編排次序的資訊而已，從其中我們並無法獲知各概念之間的相關(guān)性，例如概念學(xué)習(xí)的先後次序、概念形成的基本內(nèi)涵與合理之學(xué)習(xí)路徑。為了合理展現(xiàn)概念學(xué)習(xí)的先後次序關(guān)係與概念形成的基本內(nèi)涵，我們發(fā)現(xiàn)物 件導(dǎo)向原理中的繼承關(guān)係很適合用來解決我們的問題。圖2 數(shù)學(xué)課程樹狀結(jié)構(gòu)圖繼承關(guān)係是一個很直覺化的想法，兒子的某些特性是來自於父親，且父親與兒子的出現(xiàn)次序具有先後關(guān)係。運(yùn)用這個觀念，我們將課程結(jié)構(gòu)重新組織整理，去除章、節(jié)等上層架構(gòu)，只留下概念部分，

7、並且找出各概念之間的相互關(guān)聯(lián)性，包括概念內(nèi)涵與先後次序關(guān)係，建構(gòu)成“概念影響關(guān)係圖”圖2。透過概念影響關(guān)係圖，我們成功地展現(xiàn)了概念形成的基本內(nèi)涵、概念之間的相互關(guān)聯(lián)性及前後次序關(guān)係。以前述“數(shù)”的例子而言，依照概念影響關(guān)係圖的觀念，可以建構(gòu)成如圖3的架構(gòu)圖。圖3 概念影響關(guān)係圖的數(shù)學(xué)課程範(fàn)例國際期刊發(fā)表的成果：1 Gwo-Jen Hwang, Judy C. R. Tseng and Gwo-Haur Hwang (2007), “Diagnosing Student Learning Problems based on Historical Assessment Records”, acce

8、pted by Innovations in Education and Teaching International. (SSCI) 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0032 Yin, P.-Y., Chang, K.-C., Hwang, G.-J., Hwang, G.-H., & Chan, Y. (2006). A Particle Swarm Optimization Approach to Composing Serial Test Sheets for Multiple Assessment Crit

9、eria. Educational Technology & Society, 9 (3), 3-15. (SSCI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0033 Gwo-Jen Hwang, Bertrand M.T. Lin, Tsung-Liang Lin (2006), “An Effective Approach for Test-Sheet Composition from Large-Scale Item Banks”, Computers & Education, Vol. 46, No. 2,

10、pp. 122-139. (SSCI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0034 Gwo-Jen Hwang (2007), “A Gray Forecast Approach for Developing Testing and Diagnostic Systems”, IEEE Transactions on System, man and Cybernetic Part C., Vol. 37, No. 1, pp. 98-108. (SCI and EI) 計畫編號：NSC-94-2524-S-024-001 and

11、NSC 94-2524-S-024 -0035 Gwo-Jen Hwang, Peng-Yeng Yin and Shu-Heng Yeh (2006), “A Tabu Search Approach to Generating Test Sheets for Multiple Assessment Criteria”, IEEE Transactions on Education, Vol. 49, No. 1, pp. 88-97. (SCI, EI) 計畫編號：NSC-94-2524-S-024-001 and NSC 94-2524-S-024 -0036 Hui-Chun Chu,

12、 Gwo-Jen Hwang, Judy C. R. Tseng & Gwo-Haur Hwang (2006), “A Computerized Approach to Diagnosing Student Learning Problems in Health Education”, Asian Journal of Health and Information Sciences, Vol. 1, No. 1, pp. 43-60. 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0037 Gwo-Jen Hwang, Hsia

13、ng Cheng, Carol H.C. Chu, Judy C.R. Tseng and Gwo-Haur Hwang (2006), “Development of a Web-based System for Diagnosing Student Learning Problems on English Tenses”, accepted by Journal of Distance Education Technology. (EI) 計畫編號：NSC 95-2524-S-024 -002 and NSC 95-2520-S-024 -0038 Gwo-Jen Hwang, Bertr

14、and M.T. Lin, Hsien-Hao Tseng, Tsung-Liang Lin (2005), “On the Development of a Computer-Assisted Testing System with Genetic Test Sheet-Generating Approach”, IEEE Transactions on Systems, Man, and Cybernetics: Part C, Vol. 35, No.4, pp. 590-594. (SCI, EI) 計畫編號：NSC-93-2524-S-260-0039 Gwo-Jen Hwang (2003), “A Concept Map Model for Developing Intelligent Tutoring Systems”, Computers & Education, Vol. 40. No. 3, pp. 217-235. (SSC