ChatGPT的前世今生-李丕績(jī)

ChatGPT的前世今生個(gè)人介紹?教育經(jīng)歷?南京航空航天大學(xué),2021人工智能發(fā)展史/news/2021050/news/2021050接觸AIAIAI十年回顧AI十年回顧?2006-2009,1000NetworkinNetwork0LiFei-Fei:ImageNetLargeScaleVisualRecognitionChallenge,2014/AI十年回顧AI十年回顧AI十年回顧?2006-2009,1000NetworkinNetworkNetworkinNetworkLiFei-Fei:ImageNetLargeScaleVisualRecognitionChallenge,2014/AI十年回顧AIAI十年回顧AI十年回顧?DeepMind成立于2010年，2014年被Google收購(gòu)。?2014年開(kāi)始開(kāi)發(fā)人工智能圍棋軟件AlphaGo。?2015年10月，分布式版AlphaGo分先以5:0擊敗了歐洲圍棋冠軍華裔法籍職業(yè)棋士樊麾二段。?2016年3月，AlphaGo挑戰(zhàn)世界冠軍韓國(guó)職業(yè)棋士李世乭(???)九段，對(duì)弈結(jié)果為AlphaGo4:1戰(zhàn)勝了李世乭。AI十年回顧AI十年回顧AI十年回顧AI十年回顧AI十年回顧AIAI十年回顧AI十年回顧AIAI十年回顧Midjourneyv5AIAI十年回顧AI十年回顧AI十年回顧AI十年回顧AI十年回顧人工智能?機(jī)器學(xué)習(xí)?計(jì)算機(jī)視覺(jué)?語(yǔ)音識(shí)別及合成?如何定義語(yǔ)言的一門學(xué)科,涉及到語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、人工智能等交叉領(lǐng)域，關(guān)注計(jì)算機(jī)和人類(自然)?可分為自然語(yǔ)言理解(NaturalLanguageUnderstanding,NLU)和自然語(yǔ)言生成(Natural?屬于認(rèn)知智能認(rèn)知智能#自然語(yǔ)言處理太難了##自然語(yǔ)言處理太難了#?知識(shí)性#自然語(yǔ)言處理太難了##自然語(yǔ)言處理太難了#?知識(shí)性“自然語(yǔ)言處理是人工智能皇冠上的明珠”“自然語(yǔ)言處理是人工智能皇冠上的明珠”https://kexue.fm/archives/7888?權(quán)重衰減?梯度截?cái)?/11/20234/11/2023LSTM現(xiàn)在也沒(méi)有多少人用了。。。4/11/20234/11/2023LSTM的各種變體?沒(méi)有遺忘門?耦合輸入門和遺忘門?順便講講GRU做生成？語(yǔ)言模型–序列生成語(yǔ)言模型–序列生成語(yǔ)言模型–文本生成語(yǔ)言模型–文本生成?RNN在“學(xué)習(xí)”過(guò)汪峰全部作品后自動(dòng)生成的歌詞Yangetal.StylisticChinesePoetryGenerationviaUnsupervisedStyleDisentanglement.EMNLP2018.?大家一邊玩著word2vec，一邊訓(xùn)練著rnn-lm做生成，一邊影響著其它領(lǐng)域發(fā)展我我PhraseSeg:II我II神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯神經(jīng)機(jī)器翻譯LLM&ChatGPT?ht=f(ar,hr-1)GreedySearchBeamSearch?Seq2seq-attention之后，大廠開(kāi)始業(yè)務(wù)上線在線翻譯（谷歌、微軟、百度、有道、搜狗等）翻譯機(jī)（科大訊飛、準(zhǔn)兒、百度、搜狗等）同傳機(jī)器翻譯（微軟、訊飛、騰訊、搜狗等）?StartupsGoogle:國(guó)4/11/2023?Add–ResidualConnection?Cross-attention?TF-IDF向量表示?從同義詞和多義詞問(wèn)題可以看到：?jiǎn)卧~也許不是文?所以，在這里我們需要將單詞向量空間轉(zhuǎn)變成話題成LSA模型/p/80557306奇異值σ跟特征值類似，在矩陣Σ中也是從大到小排列，而且σ的減少特別的快，在很多情況下，前10%甚至1%的奇異值的和就占了全部的奇異值之和的99%以上了。也就是說(shuō)，我們也可以用前r大的4/11/2023/question/22237507/answer/53804902?LSI是最早出現(xiàn)的主題模型了，它的算法原理很簡(jiǎn)單，一次奇異值分解就可以得到?將文檔表示到話題向量空間的過(guò)程就是SVD奇異值分解和降維的過(guò)程。降維是LSA分析中最重要的一步，通過(guò)降維，去除了文檔中的“噪音”，也就是無(wú)關(guān)信息（比如詞的誤用或不相關(guān)的詞偶爾出現(xiàn)在一起語(yǔ)義結(jié)構(gòu)逐漸呈現(xiàn)。?缺點(diǎn)：不好解釋?聯(lián)合概率分布?該模型的另外的一個(gè)問(wèn)題在于，隨著文檔數(shù)量的增加，P(z|d)的參數(shù)也會(huì)隨著線性增加，這就導(dǎo)致無(wú)論有/bentuwuying/p/6219970.html?LatentDirichletAllocation(L?LDA模型涉及很多數(shù)學(xué)知識(shí)，這也許是LDA晦澀難懂的主要原因。?LDA涉及到的先驗(yàn)知識(shí)有：詞袋模型、二項(xiàng)分布、Gamma函數(shù)、Beta分布、多項(xiàng)分布、Dirichlet分布、馬爾科夫鏈、MCMC、GibbsSampling、EM算法等。RickjinLDA數(shù)學(xué)八卦?主題模型-LatentDirichletallocationindustrialapplications."ACMTransactionsonIntelligentSystemsandTechnology(TIST)6,InProceedingsofthe24thInternationalConferencerepresentationsinvectorspace."I-Largeimprovemen4/11/2023UnsupervisedRepresentationLearning?Semi-SupervisedSequenceLearning,Google,NIPS2015?Semi-SupervisedSequenceLearning,Google,NIPS2015?Semi-SupervisedSequenceLearning,Google,NIPS2015?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017.NAACL.UnsupervisedRepresentationLearning?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017UnsupervisedRepresentationLearning?ELMo:DeepContextualWordEmbeddings,AI2&UniversityofWashington,Jun.2017Training,OpenAI,Jun,2018GPT中的三個(gè)字母，每一個(gè)的技術(shù)or專利都屬于Google或者是被Google早4/11/2023Training,OpenAI,Jun,2018/?ImprovingLanguageUnderstandTraining,OpenAI,Jun,201815%,10%,10%,80%15%,10%,10%,80%?Task#2:NextSentencePrediction?從模型上來(lái)說(shuō)，RoBERTa基本沒(méi)有什么太大創(chuàng)新，主要是在?2）移除了nextsentencepred?4）動(dòng)態(tài)調(diào)整Masking機(jī)制。?從實(shí)驗(yàn)效果來(lái)看，干過(guò)了bert和XLNet。?不同于ERNIE1僅有詞級(jí)別的PretrainingTask，ERNIE2考慮了詞級(jí)別、結(jié)構(gòu)級(jí)別和語(yǔ)義級(jí)別3類PretrainingTask，詞級(jí)別包括KnowledgeMasking（短語(yǔ)MaskPrediction（大寫(xiě)預(yù)測(cè)）和Token-DocumentRelationPrediction（詞是否會(huì)出現(xiàn)在文檔其他地方）三個(gè)任務(wù)，結(jié)構(gòu)級(jí)別包括SentenceReordering（句子排序分類）和SentenceDistance（句子距離分類）兩個(gè)任務(wù)，語(yǔ)義級(jí)別包括DiscourseRelation（句子語(yǔ)義關(guān)系）和IRRelevance（句子檢索相關(guān)性）兩個(gè)任務(wù)。4/11/2023但凡有點(diǎn)商業(yè)和產(chǎn)品思維但凡有點(diǎn)商業(yè)和產(chǎn)品思維?ALBERT大語(yǔ)言模型–大語(yǔ)言模型–GPT3大語(yǔ)言模型–GPT大語(yǔ)言模型–GPT34/11/20234/11/2023?蒸餾壓縮?蒸餾壓縮forNaturalLanguageUnderstanding.”InFindingsoftheAssociationforComputationalLin4/11/2023?Vision-LanguagePretraining?DALLE參考了VQVAE的做法學(xué)習(xí)到了一個(gè)8192大?的圖像patch詞表，可以將任意輸入圖像(256x256)劃?不同于文本序列部分的正常的maskedself-attention，圖像序列對(duì)attention做了些修改，例如sparse?在inference階段，給定一段文本，DALLE生成了512個(gè)候選結(jié)果，然后借助CLIP強(qiáng)大的圖像-文本相關(guān)性Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Beitpretrainingforallvisionandvision-languagetasks."arXivpreprintarXiv:2208.10442(2022).Baevski,Alexei,YuhaoZhou,Abdelr"wav2vec2.0:AFrameworkforSelf-Supervised(2020).RuslanSalakhutdinov,andAbdelofHiddenUnits."arXivpreprintarXiv:2106.07447(2021).?智源&清華?華為&鵬程實(shí)驗(yàn)室?清華&智譜GLaM,GPT-3,Megatron-TuringNLG,Gopher,Chinchilla,LaMDA,PaLM,GLM-130B，LLaMA長(zhǎng)文本生成很難長(zhǎng)文本生成很難GPT-3:“Iamsorrytohearthat.”myself?”GPT-3:“Ithinkyoushould.”TrustworthyAI:AComputat/2021/02/27/gpt-3-medical-chatbot-tells-suicidal-test-pati?Accountability&Auditability?CausalAnalysis?不聽(tīng)話?會(huì)罵人?沒(méi)啥用?不可控?成本高4/11/2023https://yaofu.notion.site/4/11/20234/11/20234/11/20234/11/2023?SFTdatasetcontainsabout13ktrainingprompts(fromtheAPI?PPOdatasethas31ktrainingprompts(onlyfromtheAPI).4/11/20234/11/20234/11/2023LLM&ChatGPT4/11/20234/11/20234/11/20234/11/2023?JacobDevlinShareGPT(一個(gè)ChatGPT數(shù)據(jù)共享網(wǎng)站，4/11/2023教育?做作業(yè)教育?做作業(yè)?會(huì)出錯(cuò)教育?做作業(yè)?會(huì)出錯(cuò)教育?做作業(yè)?會(huì)出錯(cuò)?做作業(yè)?會(huì)出錯(cuò)改論文?做作業(yè)?會(huì)出錯(cuò)?做作業(yè)?會(huì)出錯(cuò)4/11/20234/11/20234/11/2023