CourseGrading—北航軟件類課程一體化支撐平臺(tái)

1、CourseGrading北航軟件類課程一體化支撐平臺(tái)趙長(zhǎng)海 晏海華2017年6月平臺(tái)網(wǎng)址： 計(jì)算機(jī)專業(yè)教學(xué)支撐工具的問題BIG DATA我們的數(shù)據(jù)在哪里？數(shù)據(jù)孤島碎片化的工具：針對(duì)各個(gè)課程的孤立工具工具的生命力與持續(xù)性缺失教育工具缺乏維護(hù)和持續(xù)研發(fā)，導(dǎo)致積累數(shù)據(jù)丟失專業(yè)壁壘高且市場(chǎng)容量小缺乏高水平的人才與大量的資金持續(xù)性投入工具缺乏技術(shù)深度解決途徑？平臺(tái)化，系統(tǒng)化，不要條塊化分割知識(shí)體系各個(gè)擊破（解決每門課程的痛點(diǎn)），良好的體驗(yàn)吸引教師使用穩(wěn)定、高效、持續(xù)性的演化CourseGrading平臺(tái)理念特色平臺(tái)的質(zhì)量CourseGrading北航教改應(yīng)用題庫(kù)建設(shè)與CourseGrading共同發(fā)展

2、定位未來規(guī)劃CourseGrading工具發(fā)展史CG成功研發(fā)，經(jīng)受大并發(fā)測(cè)試內(nèi)部使用，持續(xù)完善20032009遷移到阿里云（）商業(yè)化維持系統(tǒng)的長(zhǎng)遠(yuǎn)發(fā)展版本快速迭代，大概每1個(gè)半月升級(jí)一次程序評(píng)判系統(tǒng)計(jì)算機(jī)課程一體化支撐平臺(tái)2015 放在校內(nèi)服務(wù)器供免費(fèi)下載使用根據(jù)用戶需求持續(xù)完善穩(wěn)定性安全性用戶體驗(yàn)學(xué)院研發(fā)類OJ系統(tǒng)性能問題導(dǎo)致考試時(shí)系統(tǒng)崩潰，引發(fā)教學(xué)事故缺乏課程管理功能，使用不便教育大數(shù)據(jù)當(dāng)前最具深度、最易安裝維護(hù)、性能最好的程序設(shè)計(jì)教學(xué)輔助平臺(tái)系統(tǒng)管理與運(yùn)維系統(tǒng)備份多課程管理系統(tǒng)升級(jí)系統(tǒng)遷移系統(tǒng)性能系統(tǒng)外觀教師權(quán)限管理在線考試在線作業(yè)在線答疑成績(jī)管理權(quán)限管理資源管理抄襲檢測(cè)課程管理平臺(tái)欄目

3、定制學(xué)生管理ACM競(jìng)賽并行競(jìng)賽競(jìng)賽在線運(yùn)營(yíng)實(shí)驗(yàn)程序設(shè)計(jì)課程C、C+、Java、Python、C#程序自動(dòng)評(píng)判、算法可視化、大數(shù)據(jù)性能等SQL自動(dòng)評(píng)測(cè)數(shù)據(jù)結(jié)構(gòu)與算法課程數(shù)據(jù)庫(kù)算法設(shè)計(jì)與分析計(jì)算概論小組作業(yè)、小組互評(píng)、Github軟件工程面向?qū)ο笤O(shè)計(jì)軟件體系結(jié)構(gòu)軟件測(cè)試并行與分布式程序評(píng)判并行計(jì)算多核程序設(shè)計(jì)高性能計(jì)算MPI程序設(shè)計(jì)應(yīng)用(項(xiàng)目)開發(fā)Android、IOS、JSP等OS與編譯實(shí)驗(yàn)環(huán)境編譯器課程設(shè)計(jì)操作系統(tǒng)課程設(shè)計(jì)大數(shù)據(jù)與AI實(shí)驗(yàn)環(huán)境大數(shù)據(jù)相關(guān)實(shí)驗(yàn)人工智能相關(guān)實(shí)驗(yàn)硬件在線實(shí)驗(yàn)環(huán)境FPGA遠(yuǎn)程實(shí)驗(yàn)計(jì)算機(jī)網(wǎng)絡(luò)遠(yuǎn)程實(shí)驗(yàn)移動(dòng)計(jì)算與嵌入式遠(yuǎn)程實(shí)驗(yàn)開發(fā)能力培養(yǎng)系統(tǒng)能力培養(yǎng)統(tǒng)計(jì)分析數(shù)據(jù)API增值服務(wù)

4、依賴虛擬機(jī)或者Docker環(huán)境CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項(xiàng)目題5 類通用題型4 類編程題型1 類并行編程題型CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項(xiàng)目題5類通用題型4類編程題型1類并行編程題型系統(tǒng)將自動(dòng)將學(xué)生答案與參考答案進(jìn)行相似性比較，利用相似度輔助判分CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視

5、化并行編程題MPI分布式多線程項(xiàng)目題5類通用題型4類編程題型1類并行編程題型文件上傳題：可以自動(dòng)從壓縮包內(nèi)提取文檔或者源代碼，進(jìn)行相似性比較CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項(xiàng)目題5類通用題型4類編程題型1類并行編程題型面向問題，學(xué)生根據(jù)題目描述，編寫完整的程序。支持任意的輸入/輸出方式組合支持C、C+、Java、Python、C#等CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項(xiàng)目題

6、5類通用題型4類編程題型1類并行編程題型定義好接口，學(xué)生編寫實(shí)現(xiàn)：學(xué)生依據(jù)頭文件（c）、或者繼承基類（c+、java），編寫方法實(shí)現(xiàn)。對(duì)學(xué)生寫代碼提供一種導(dǎo)向與約束作用。CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項(xiàng)目題5類通用題型4類編程題型1類并行編程題型補(bǔ)充缺失的語(yǔ)句、函數(shù)?？梢圆迦胝{(diào)試打印語(yǔ)句，以打印的數(shù)據(jù)作為正確性評(píng)判依據(jù)。類似集成開發(fā)環(huán)境中的斷點(diǎn)調(diào)試CourseGrading特色豐富的題目類型選擇題填空題判斷題簡(jiǎn)答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI

7、分布式多線程項(xiàng)目題5類通用題型4類編程題型1類并行編程題型主要用于軟件工程系列課程實(shí)踐最流行的代碼托管服務(wù)，非自建版本管理CourseGrading特色程序評(píng)判：不僅僅對(duì)與錯(cuò)基本測(cè)評(píng)報(bào)告測(cè)試數(shù)據(jù)中包括了正常情況和邊界等異常情況，使學(xué)生體會(huì)到工程編碼要求CourseGrading特色程序評(píng)判：不僅僅對(duì)與錯(cuò)幫助學(xué)生全面認(rèn)知程序的內(nèi)涵，樹立軟件工程思維，引導(dǎo)學(xué)生寫出高質(zhì)量的程序CourseGrading特色程序評(píng)判：對(duì)錯(cuò)不是唯一標(biāo)準(zhǔn)！程序性能參與評(píng)分“性能” 在大數(shù)據(jù)下才有區(qū)分度！適用課程：算法與數(shù)據(jù)結(jié)構(gòu)體驗(yàn)算法魅力，理解理論與實(shí)踐的相互作用（ ACM/IEEE CS2013）計(jì)算機(jī)體系結(jié)構(gòu)類課程利

8、用cache、指令多級(jí)流水、分支預(yù)測(cè)等優(yōu)化程序，深入理解CPU的微架構(gòu)，參考深入理解計(jì)算機(jī)系統(tǒng)CourseGrading特色程序評(píng)判：對(duì)錯(cuò)不是唯一標(biāo)準(zhǔn)！以執(zhí)行時(shí)間最短的程序?yàn)榛鶞?zhǔn)判分（項(xiàng)目）題目示例詞頻統(tǒng)計(jì)（2016學(xué)年）拼寫檢查（2017學(xué)年）小說生成器（2018學(xué)年）得分排行榜總分 = 正確分 + 性能分用算法的思維，綜合考慮時(shí)間復(fù)雜度和空間復(fù)雜度去尋找最優(yōu)的方案來解決問題CourseGrading特色程序評(píng)判：支持輸出結(jié)果的模糊匹配！支持通配符描述期望輸出應(yīng)用：放寬格式要求浮點(diǎn)數(shù)輸出屏蔽輸入提醒答案二選一CourseGrading特色程序評(píng)判：支持輸入與輸出任意組合！利用編程題考核算法與

9、數(shù)據(jù)結(jié)構(gòu)知識(shí)點(diǎn)的示例（非常秒的出題思路，來自晏海華老師）CourseGrading特色程序評(píng)判：支持多源文件能夠支撐軟件工程、編譯原理等項(xiàng)目級(jí)別的源代碼接近真實(shí)工程環(huán)境的，源代碼組織風(fēng)格支持多源文件打包上傳“培養(yǎng)學(xué)生解決復(fù)雜工程問題的能力”工程教育專業(yè)認(rèn)證CourseGrading特色程序評(píng)判：實(shí)時(shí)評(píng)判（VS. 串行排隊(duì)）利用CPU多核并行評(píng)判學(xué)生程序，實(shí)時(shí)出結(jié)果上海大學(xué)實(shí)驗(yàn)：300400人同時(shí)上機(jī)，串行排隊(duì)評(píng)判延遲能達(dá)到40分鐘。評(píng)判進(jìn)程池：CPU核數(shù) 2CourseGrading特色算法與數(shù)據(jù)結(jié)構(gòu)可視化以交互可視化的形式動(dòng)態(tài)展示算法的執(zhí)行過程，使學(xué)生更容易理解算法思想。支持棧、隊(duì)列、堆和遞

10、歸、索引、排序、圖、動(dòng)態(tài)規(guī)劃，共45種數(shù)據(jù)結(jié)構(gòu)和算法的可視化。CourseGrading特色并行程序的自動(dòng)評(píng)測(cè)從正確性、可擴(kuò)展性、性能三個(gè)角度全面評(píng)測(cè)并行程序支持分布式MPI、多核多線程、CUDA并行程序適用課程：并行程序設(shè)計(jì)/并行計(jì)算操作系統(tǒng)實(shí)驗(yàn) 多進(jìn)程實(shí)驗(yàn)（wait 與fork） 信號(hào)量 生產(chǎn)者消費(fèi)者三個(gè)指標(biāo)全面評(píng)測(cè)并行/分布式程序ACM/IEEE CS2013新增課程體系：并行和分布式計(jì)算（PD）、信息安全、系統(tǒng)基礎(chǔ)、基于平臺(tái)的開發(fā) 等CourseGrading特色并行程序的自動(dòng)評(píng)測(cè)：直觀的評(píng)判報(bào)告CourseGrading特色題目度量：客觀量化題目難度度量指標(biāo)：平均代碼行、平均完成時(shí)間

11、、正確率基于歷年使用的歷史數(shù)據(jù)統(tǒng)計(jì)基于單次考試/作業(yè)的統(tǒng)計(jì)CourseGrading特色代碼相似性比較趙長(zhǎng)海等，基于編譯優(yōu)化和反匯編的程序相似性檢測(cè)方法，北京航空航天大學(xué)學(xué)報(bào)，2008年。國(guó)內(nèi)相似性比較研究領(lǐng)域，引用率最高的文章。代碼相似性檢測(cè)修改注釋重新排版標(biāo)識(shí)符重命名代碼塊重排序常量替換改變操作符改變數(shù)據(jù)類型代碼冗余表達(dá)式拆分控制結(jié)構(gòu)等價(jià)替換精確定位，并聚類顯示若存在任何手段能夠繞開檢測(cè)算法，那么查重功能形同虛設(shè)！CourseGrading特色代碼相似性比較示例1：調(diào)整代碼順序 + 注釋CourseGrading特色代碼相似性比較示例2：冗余代碼 + 變量重命名 + 注釋 + 排版Cour

12、seGrading特色文檔/源代碼相似性檢測(cè)能夠自動(dòng)從壓縮包內(nèi)提取文檔和源代碼，進(jìn)行相似性比較各種常見文檔：Word、PDF、Excel、PPT常用編程語(yǔ)言：C/C+、C#、Java、Python、Javascript、HTML等適用課程：軟件工程、編譯技術(shù)、各種實(shí)驗(yàn)報(bào)告.CourseGrading特色軟工實(shí)踐教學(xué)小組作業(yè)、互評(píng)、GitHub協(xié)作軟件工程系列小組協(xié)作小組互評(píng)增量式迭代開發(fā)GitHub分組設(shè)置小組（匿名）互評(píng)開發(fā)過程CourseGrading特色支持ACM競(jìng)賽(CG-OJ) http:/ 獨(dú)立的OJ模塊，與CG教學(xué)系統(tǒng)統(tǒng)一賬號(hào)登錄，沉淀更多的教學(xué)數(shù)據(jù)競(jìng)賽ACM競(jìng)賽與訓(xùn)練并行編程大

13、賽算法性能比賽CourseGrading特色全方位支持在線考試自動(dòng)抽題組卷：知識(shí)點(diǎn)分布、章節(jié)、難度、使用頻度自動(dòng)抽題CourseGrading特色全方位支持在線考試支持單場(chǎng)考試多套試卷，根據(jù)IP地址或?qū)W號(hào)分發(fā)試卷多套試卷試卷分發(fā)規(guī)則可監(jiān)控內(nèi)網(wǎng)IP(機(jī)房通過NAT上網(wǎng))支持IP綁定（一個(gè)賬號(hào)對(duì)應(yīng)一臺(tái)機(jī)器）IP地址訪問控制（只允許特定的IP地址訪問考試）欄目關(guān)閉（關(guān)閉答疑論壇、作業(yè)等欄目）CourseGrading特色全方位支持在線考試實(shí)時(shí)監(jiān)測(cè)學(xué)生交換賬號(hào)互相抄襲可監(jiān)控內(nèi)網(wǎng)IP（通過NAT訪問CG考試服務(wù)器）在線考試如何有效防作弊？ /document/guideCourseGrading特色增設(shè)

14、欄目自定義新的欄目，欄目?jī)?nèi)容可以播放視頻、音頻等CourseGrading特色可定制的首頁(yè)風(fēng)格：精簡(jiǎn)CourseGrading特色可定制的首頁(yè)風(fēng)格：課程中心CourseGrading特色可定制的首頁(yè)風(fēng)格：OJCourseGrading質(zhì)量性能！單臺(tái)普通筆記本能夠支撐2000人同時(shí)在線考試單臺(tái)雙路服務(wù)器可支撐20000人同時(shí)在線考試案例：上海大學(xué)單臺(tái)服務(wù)器支撐全校3000人國(guó)防科大1GB內(nèi)存臺(tái)式機(jī)的抗壓測(cè)試北航P4 CPU 1GB內(nèi)存臺(tái)式機(jī) 350人考試河北地質(zhì)大學(xué)Windows VMWare工作站虛擬機(jī)，2核Xeon CPU，2GB ，600人同時(shí)在線考試CourseGrading質(zhì)量安全性！

15、在線評(píng)判系統(tǒng)極易出現(xiàn)安全性問題安全性如何保障？長(zhǎng)時(shí)間使用驗(yàn)證+高水平的攻防測(cè)試CourseGrading質(zhì)量可維護(hù)性！一鍵式安裝下載&執(zhí)行安裝包安裝在校園網(wǎng)或者局域網(wǎng)內(nèi)，不用互聯(lián)網(wǎng)在線模式，主要是考試的特殊性：避免“引誘” 學(xué)生到互聯(lián)網(wǎng)搜索答案！考試期間的互聯(lián)網(wǎng)訪問沒有保障集中提交代碼時(shí)，互聯(lián)網(wǎng)出口帶寬沒有保障安裝LinuxCourseGrading質(zhì)量可維護(hù)性！數(shù)據(jù)的可靠性通過瀏覽器備份數(shù)據(jù)自定義自動(dòng)快照策略，保障數(shù)據(jù)可靠性CourseGrading質(zhì)量可維護(hù)性！系統(tǒng)升級(jí)的便捷性CourseGrading特色總結(jié)唯一支持“算法與數(shù)據(jù)結(jié)構(gòu)”課程的系統(tǒng)支持算法時(shí)間復(fù)雜度分析唯一支持并行程序評(píng)測(cè)的

16、系統(tǒng)支持并行程序設(shè)計(jì)、操作系統(tǒng)課程實(shí)驗(yàn)（進(jìn)程間通信、生產(chǎn)者消費(fèi)者等）唯一全面支持在線考試的系統(tǒng)支持大并發(fā)、高可靠、安全、全面的監(jiān)考機(jī)制唯一具備完善的課程管理的系統(tǒng)并不僅僅適用于程序設(shè)計(jì)類課程唯一支持自動(dòng)在線運(yùn)維的系統(tǒng)保持系統(tǒng)長(zhǎng)期、可靠運(yùn)行CourseGrading平臺(tái)理念特色平臺(tái)的質(zhì)量CourseGrading北航教改應(yīng)用題庫(kù)建設(shè)與CourseGrading共同發(fā)展定位未來規(guī)劃課程的目標(biāo)對(duì)于一般問題，具備分析問題、解決問題的能力，在4060分鐘內(nèi)編寫并調(diào)試通過、能正確運(yùn)行、一般在4050行有效代碼以內(nèi)的程序；通過學(xué)習(xí)讓學(xué)生能夠了解程序設(shè)計(jì)思想以及初步接受到程序設(shè)計(jì)方法、技巧、風(fēng)格的訓(xùn)練，并逐步

17、了解工程化要求。45程序設(shè)計(jì)類課程改革歷程重視知識(shí)的講授而忽視對(duì)能力的培養(yǎng)實(shí)驗(yàn)與考核手段落后20032016 時(shí)間軸兩課融合:數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計(jì)基礎(chǔ)高級(jí)語(yǔ)言程序設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)與算法系統(tǒng)配合教改繼續(xù)完善實(shí)踐能力為導(dǎo)向使用程序設(shè)計(jì)語(yǔ)言求解問題的能力作業(yè)(10%)與考試(90%)全部在線完成，挑戰(zhàn)：如何監(jiān)督獨(dú)立完成作業(yè)性能、穩(wěn)定性數(shù)據(jù)的安全程序設(shè)計(jì)類課程改革效果47說明：在此統(tǒng)計(jì)的是5個(gè)年級(jí)程序設(shè)計(jì)課期末考試情況。每次考試包括3個(gè)編程題:編程題1：為簡(jiǎn)單的基本題，涵蓋了表達(dá)式、控制流等知識(shí)點(diǎn)編程題2：為中等難度題，涵蓋了表達(dá)式、控制流、數(shù)組、函數(shù)等知識(shí)點(diǎn)編程題3：為綜合應(yīng)用題。從考試結(jié)果來看：考試能夠

18、貫徹教學(xué)目標(biāo)要求在能夠反映學(xué)生綜合應(yīng)用能力的編程題3上，反映學(xué)生的編程能力在提高程序設(shè)計(jì)類課程改革效果數(shù)據(jù)來源推免考試考生來源：各個(gè)高校優(yōu)秀學(xué)生（大四）題目與大一學(xué)生的期末考試相近結(jié)論優(yōu)秀率、及格率、平均分，北航大一的學(xué)生都高于推免研究生程序設(shè)計(jì)類課程改革效果綜合類作業(yè)（Project）的設(shè)計(jì)，幫助學(xué)生理解當(dāng)問題N變大時(shí)，數(shù)據(jù)結(jié)構(gòu)與算法是如何影響程序性能題目：詞頻統(tǒng)計(jì)（哈利波特全集、近100萬個(gè)單詞、性能參與評(píng)分）貫穿整個(gè)學(xué)期的作業(yè)，學(xué)生利用學(xué)到的知識(shí)不斷優(yōu)化程序其中運(yùn)行最快的是0.093s，運(yùn)行時(shí)間最長(zhǎng)為155.912s程序設(shè)計(jì)類課程改革效果知乎評(píng)價(jià)： 想想四年，收獲最大的只有C語(yǔ)言、數(shù)據(jù)結(jié)

19、構(gòu)、鄒欣老師的程序設(shè)計(jì)和懷騎士的課.北航本科課業(yè)繁重（雖然我也不怎么上），印象最深的是C語(yǔ)言課，收獲很大，基礎(chǔ)夯實(shí)。Ref: 北航計(jì)算機(jī)學(xué)院怎么樣？ /question/23026820/answer/24282950“CCF CSP軟件能力認(rèn)證”2016最佳合作單位獲得最佳合作獎(jiǎng)的單位是：北京航空航天大學(xué)、國(guó)防科技大學(xué)Ref：用CSP證明專業(yè)能力CCF在京召開軟件能力認(rèn)證大會(huì)程序設(shè)計(jì)類課程改革效果獎(jiǎng)勵(lì)：北京市教學(xué)成果二等獎(jiǎng)CourseGrading北航應(yīng)用：高級(jí)語(yǔ)言程序設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)與算法數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計(jì)基礎(chǔ)算法設(shè)計(jì)與分析并行程序設(shè)計(jì) 研究生推免/研究生復(fù)試編譯技術(shù)軟件工程軟件體系結(jié)構(gòu)計(jì)算機(jī)科學(xué)研究方法與實(shí)踐從作業(yè)到考試全部在線作業(yè)在線紙質(zhì)考試CourseGrading北航數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計(jì)基礎(chǔ)作業(yè)（20分）：8次作業(yè)（15分）+ 1次性能測(cè)試作業(yè)（5分）考試（80分）：期中考試（30分）+ 期末考試（50分）CourseGrading北航高質(zhì)量的練習(xí)題目北京地鐵換乘查詢拼寫檢查詞頻統(tǒng)計(jì)面向工程應(yīng)用實(shí)際問題大數(shù)據(jù)CourseGrading平臺(tái)理念特色平臺(tái)的質(zhì)量CourseGrading北航教改應(yīng)用題庫(kù)建設(shè)與CourseGrading共同發(fā)展定位未來規(guī)劃CourseGrading的定位1