《大語言模型基礎(chǔ)》課程簡(jiǎn)介

《大語言模型基礎(chǔ)》課程簡(jiǎn)介課程名稱： 大語言模型基礎(chǔ) Foundationoflargelanguagemodels課程編號(hào)：CS-301學(xué)分：2學(xué)分課程簡(jiǎn)介：本課程旨在介紹大語言模型的基本概念、核心技術(shù)、應(yīng)用場(chǎng)景以及開發(fā)流程。通過本課程的學(xué)習(xí)，學(xué)生將能夠理解大語言模型的工作原理，掌握大語言模型的基本概念、核心技術(shù)、應(yīng)用場(chǎng)景以及開發(fā)流程,掌握模型的訓(xùn)練、微調(diào)和應(yīng)用方法，并能夠獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)基于大語言模型的應(yīng)用系統(tǒng)，為未來的學(xué)術(shù)研究和實(shí)際應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。課程目標(biāo)：1.知識(shí)目標(biāo)：掌握大語言模型的基本概念、發(fā)展歷程和技術(shù)原理。2.技能目標(biāo)：能夠使用開源大模型進(jìn)行微調(diào)和應(yīng)用開發(fā)。3.應(yīng)用目標(biāo)：能夠在實(shí)際項(xiàng)目中設(shè)計(jì)和實(shí)現(xiàn)基于大語言模型的解決方案。4.倫理目標(biāo)：了解大語言模型倫理和法律問題，具備負(fù)責(zé)任的技術(shù)應(yīng)用能力。課程內(nèi)容：1.大模型基礎(chǔ)?1.1人工智能基礎(chǔ)?1.2大模型定義?1.3大模型技術(shù)的形成?1.4通用人工智能2.大模型與生成式AI?2.1什么是語言模型?2.2大模型發(fā)展三階段?2.3Transformer模型?2.4生成式人工智能3.大模型架構(gòu)?3.1大模型生成原理?3.2多模態(tài)語言模型?3.3大模型的結(jié)構(gòu)?3.4應(yīng)用技術(shù)架構(gòu)?3.5OpenAI的Sora大模型4.人工數(shù)據(jù)標(biāo)注?4.1知識(shí)表示方法?4.2什么是數(shù)據(jù)標(biāo)注?4.3數(shù)據(jù)標(biāo)注分類?4.4制定標(biāo)注規(guī)則?4.5執(zhí)行數(shù)據(jù)標(biāo)注?4.6標(biāo)注團(tuán)隊(duì)管理5.大模型預(yù)訓(xùn)練數(shù)據(jù)?5.1數(shù)據(jù)來源?5.2數(shù)據(jù)處理?5.3數(shù)據(jù)影響分析?5.4典型的開源數(shù)據(jù)集?5.5訓(xùn)練集、測(cè)試集、驗(yàn)證集的異同?5.6數(shù)據(jù)集面臨的挑戰(zhàn)6.大模型開發(fā)組織?6.1大模型開發(fā)流程?6.2大模型的數(shù)據(jù)組織?6.3分而治之的思想?6.3.1分布式計(jì)算?6.3.2消息傳遞接口MPI?6.3.3MapReduce模型?6.3.4批處理和流處理?6.4分布式訓(xùn)練與策略7.提示工程與微調(diào)?7.1什么是提示工程?7.2大模型為什么要微調(diào)?7.3提示學(xué)習(xí)和語境學(xué)習(xí)?7.4上下文窗口擴(kuò)展?7.5指令數(shù)據(jù)的構(gòu)建?7.6微調(diào)及其PEFT流行方案8.強(qiáng)化學(xué)習(xí)方法?8.1強(qiáng)化學(xué)習(xí)的概念?8.2強(qiáng)化學(xué)習(xí)基礎(chǔ)?8.3強(qiáng)化學(xué)習(xí)分類?8.4深度強(qiáng)化學(xué)習(xí)9.大模型智能體?9.1智能體和環(huán)境?9.2智能體的良好行為?9.3環(huán)境的本質(zhì)?9.4智能體的結(jié)構(gòu)?9.5構(gòu)建大模型智能體?9.6人工智能內(nèi)容生成（AIGC）10.大模型應(yīng)用框架?10.1大模型哲學(xué)問題?10.2大模型應(yīng)用流程?10.3大模型應(yīng)用場(chǎng)景?10.4案例：Magic突破Q算法11.技術(shù)倫理與限制?11.1人工智能面臨的倫理挑戰(zhàn)?11.2數(shù)據(jù)隱私保護(hù)對(duì)策?11.3人工智能倫理原則?11.4大模型的知識(shí)產(chǎn)權(quán)保護(hù)12.大模型產(chǎn)品評(píng)估?12.1模型評(píng)估概述?12.2大模型評(píng)估體系?12.3大模型評(píng)估實(shí)踐?12.4大模型產(chǎn)品對(duì)比?12.5大模型的大趨勢(shì)教學(xué)方法：?課堂講授：通過多媒體課件和案例講解，系統(tǒng)介紹大語言模型的基礎(chǔ)知識(shí)和技術(shù)原理。?實(shí)驗(yàn)實(shí)訓(xùn)：通過實(shí)驗(yàn)室實(shí)踐，讓學(xué)生動(dòng)手操作，掌握大語言模型的訓(xùn)練、微調(diào)和應(yīng)用方法。?小組討論：組織學(xué)生進(jìn)行小組討論，探討大語言模型的實(shí)際應(yīng)用和倫理問題。?項(xiàng)目作業(yè)：布置實(shí)際項(xiàng)目作業(yè)，要求學(xué)生獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)基于大語言模型的應(yīng)用系統(tǒng)?？己朔绞剑?平時(shí)成績(jī)（30%）：包括課堂表現(xiàn)、實(shí)驗(yàn)報(bào)告和小組討論。?期中考試（30%）：考察學(xué)生對(duì)大語言模型基礎(chǔ)知識(shí)的理解和掌握。?期末項(xiàng)目（40%）：要求學(xué)生獨(dú)立