詞法分析器課程設(shè)計報告

PAGEPAGE1目錄摘要 11課程設(shè)計內(nèi)容 22課程設(shè)計要求 33運行環(huán)境 44編譯程序介紹 45各部分的功能介紹及分析 56算法實現(xiàn)及模擬 57設(shè)計思路及關(guān)鍵問題 67.1處理時機(jī) 67.2一個棘手問題 67.3解決方法 78結(jié)果及測試分析 78.1待分析程序源代碼 78.2運行結(jié)果 109總結(jié) 119.1設(shè)計過程 119.2困難與收獲 11參考文獻(xiàn) 12

摘要通過課程設(shè)計實踐，樹立正確的設(shè)計思想，鞏固所學(xué)編程語言基本知識，增進(jìn)C語言編輯基本功；綜合運用所學(xué)的理論知識，進(jìn)一步理解高級語言在計算機(jī)中的執(zhí)行過程，加深對編譯原理中重點算法和編譯技術(shù)的理解；掌握課程設(shè)計的一般方法與步驟，深入掌握課程設(shè)計的基本理論、方法和步驟，提高自己的編程能力，培養(yǎng)好的程序設(shè)計風(fēng)格。通過課程設(shè)計，真正掌握設(shè)計和構(gòu)造編譯程序的基本原理和常用的編譯技術(shù)，具備系統(tǒng)軟件調(diào)試能力和開發(fā)能力，培養(yǎng)分析問題和解決問題的能力。同時通過某種編程語言的應(yīng)用，具備初步的Windows環(huán)境下的編程思想。完成本課程設(shè)計的項目——詞法分析器，理解詞法分析在編譯程序中的作用，加深對有窮自動機(jī)模型的理解，掌握詞法分析程序的實現(xiàn)方法和技術(shù)，用c語言對一個簡單語言的子集編制一個一遍掃描的編譯程序，以加深對編譯原理的理解,掌握編譯程序的實現(xiàn)方法和技術(shù)。關(guān)鍵詞：詞法分析器掃描器單詞符號預(yù)處理1課程設(shè)計內(nèi)容設(shè)計內(nèi)容：完成下述文法所描述的單詞符號的詞法分析程序。<標(biāo)識符>--><字母>|<標(biāo)識符><字母>|<標(biāo)識符><數(shù)字><無符號整數(shù)>--><數(shù)字>|<無符號整數(shù)><數(shù)字><分界符>-->+|-|*|/|;|(|)|{|}|<|<=|==|!=|>=|>|=|<空格><字母>-->a|…|z|A|…|Z<數(shù)字>-->0|…|9運用C語言設(shè)計詞法分析器，由指定文件讀入預(yù)分析的源程序，經(jīng)過詞法分析器的分析，將結(jié)果寫入指定文件。本程序是在VisualStudio環(huán)境下，使用C語言作為開發(fā)工具?；趯嶒炄蝿?wù)的內(nèi)容及目的，實現(xiàn)初步的需求分析，具備詞法分析器的基本功能和整體構(gòu)架。逐步細(xì)化其功能，做到相應(yīng)模塊的具體化。畫出未成熟的流程圖，確定整體設(shè)計的走向，在一定范圍內(nèi)約束編程活動，確保沒有大的問題及缺陷存在，然后通過將來的具體的編程設(shè)計完善流程圖。程序設(shè)計的具體內(nèi)容：在實際的設(shè)計中，預(yù)分析程序保存在文本文件sourcecode.txt中，該文件不能由執(zhí)行程序自動創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個字符的分析源程序，能夠識別標(biāo)識符，整數(shù)，分界符，并分別把分析得到的字符寫入相應(yīng)文檔：keyword，words，digit，single，double；其它字符標(biāo)示為無法識別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫入文件Dualistic_formula，該文件的內(nèi)容包括統(tǒng)計結(jié)果（排除重復(fù)出現(xiàn)的字符）和二元式。這七個文件會在程序執(zhí)行時自動創(chuàng)建，程序結(jié)束時，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗，測試。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識別。普通標(biāo)識符由函數(shù)intword（charch）來識別，并進(jìn)一步由函數(shù)intkeyword（charkey[]）來分離普通標(biāo)識符和關(guān)鍵字；數(shù)字有函數(shù)intdigit（charch）來識別；分界符由函數(shù)intdelimiter（charch）來識別；其他字符即為非法字符。該程序中，全局變量共有兩個intcharacters_exist=0和intcountoffinal=0。characters_exist用來判斷是否是純數(shù)字，countoffinal用來記錄finalresult函數(shù)執(zhí)行的次數(shù)。統(tǒng)計主函數(shù)在內(nèi)，總共16個函數(shù)模塊，除了前面說到得識別字符的函數(shù)外，還有對文件進(jìn)行操作的函數(shù)，對數(shù)組操作的函數(shù)和實現(xiàn)顯示功能的函數(shù)。主函數(shù)中有六個文件指針，十一個字符數(shù)組，十個實現(xiàn)不同功能的變量。在程序設(shè)計過程中及時注釋，方便復(fù)讀和檢測。2課程設(shè)計要求必須運用C語言設(shè)計詞法分析器，由指定文件讀入預(yù)分析的源程序，從左至右描源程序的字符串，按照詞法規(guī)則（正則文法規(guī)則）識別出一個個正確的單詞，并轉(zhuǎn)換成該單詞相應(yīng)的二元式（種別碼、屬性值）交給語法分析使用。本程序規(guī)定輸出用KeyWord代表關(guān)鍵字，Word代表普通標(biāo)識符，Digit代表阿拉伯?dāng)?shù)字，SingleWord代表單分界符，DoubleWord代表雙分界符，ERROR代表無法別的字符。了解和掌握詞法分析的方法；編程實現(xiàn)給定源語言程序的詞法分析器；利用該分析器掃描源語言程序的字符串，按照給定的詞法規(guī)則，識別出單詞符號作為輸出，發(fā)現(xiàn)其中的詞法錯誤。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識別。針對該程序設(shè)計的具體設(shè)計：編程實現(xiàn)一個簡單的詞法分析器，可以對一個文件進(jìn)行詞法分析處理。程序能夠正確識別文法所規(guī)定的任何組織形式的字符組合。例如在連續(xù)的分界符中，如何分離出單分界符和雙分界符；字符中間的空格如何處理，源程序中往往出現(xiàn)大量連續(xù)的空格，若是全部記錄下來，沒用實際意義，且又浪費時間和空間，這樣又如何處理；普通標(biāo)識符和關(guān)鍵字如何分離出來；數(shù)字如何判斷，形如123，a123，123a，123=，=123，123#，#123的字符串中，哪些才是整數(shù)，其它的又如何舍去。這些功能都必須實現(xiàn)。標(biāo)識符是被分界符分開的，只有在遇到分界符時才能判斷前面的字符串是否是標(biāo)識符；假若非法字符和字母或數(shù)字混雜在一起，則這些字母或數(shù)字不能形成標(biāo)識符或整數(shù)；這個問題并不復(fù)雜，當(dāng)出現(xiàn)連續(xù)的分界符時，棘手的問題才出現(xiàn)。形如!<==-a,這個分界符字符串該如何分析呢？第一個字符！是單分界符，那么是不是當(dāng)讀到！時就可以立即判斷這是一個單分界符呢？不能，因為還有形如字符串！=的可能性，這樣一來詞法分析器必須擁有展望未來的能力；那么<是不能判斷為單分界符的，因為，字符組合<=是雙分界符；問題出現(xiàn)了，字符組合==是雙分界符，還是單獨的認(rèn)為第二個=是單分界符，這就決定與規(guī)定了；既然在讀到單分界時不能立即判斷其具體歸類，那么當(dāng)讀到字符–后，還需要進(jìn)一步讀字符a，然后才能判斷字符–是否是單分界符，這樣一來，就需要在遇到字母或數(shù)字時，進(jìn)行對前面的分界符的判斷，這時又需要退兩步來分析，也就是需要分析字符a前面的兩個字符才能判斷字符a前面的一個字符是什么屬性；這就是說，出現(xiàn)連續(xù)的分界符時，需要尾隨的其他類的字符來輔助，以判斷分界符的具體屬性；可是，如果沒有其他字符尾隨呢，最好的一個分界符該如何處理？還有，如果標(biāo)識符同樣沒有其他字符尾隨，又該如何處理？分析得到的字符，需要寫入文件，保存以供后用。重復(fù)出現(xiàn)的字符不能都作為最后結(jié)果存儲。這些多余的字符是在分析時舍去還是在整個源程序被分析完畢后才進(jìn)一步處理舍的去問題？可以把讀到的所有合法字符（出去連續(xù)出現(xiàn)的大量空格）暫時保存到相關(guān)文件，待分析源程序完畢后，在處理這些文件中的合法字符，舍去重復(fù)的，把正確合適的數(shù)據(jù)寫入到另一個文件，形成二元式，該文件才是最后結(jié)果。程序在實現(xiàn)基本功能的同時，以上提出的問題必須小心處理。在程序設(shè)計過程中需要及時注釋。首先整體把握程序設(shè)計的架構(gòu)和內(nèi)涵，理清需求，得到雛形的流程圖；完成程序編程，滿足前述功能，實現(xiàn)數(shù)據(jù)的輸入和正確輸出。3運行環(huán)境此法分析器的設(shè)計和運行環(huán)境：MicrosoftWindowsXPProfessional/MicrosoftVisualStudio2005/VisualC++控制臺應(yīng)用程序。程序的不足本程序只能分析小型的源程序，否則將會出現(xiàn)空間分配不足；能夠分析的字符串的長度有限，否則，也會出現(xiàn)空間問題。另外，變量反復(fù)使用，不利于閱讀。反復(fù)出現(xiàn)“fopen”被聲明為否決的這樣的警告信息。程序冗長，未能充分利用C函數(shù)庫的功能函數(shù)。4編譯程序介紹本詞法分析器，預(yù)分析程序保存在文本文件sourcecode.txt中，該文件不能由執(zhí)行程序自動創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個字符的分析源程序，能夠識別標(biāo)識符，整數(shù)，分界符，并分別把分析得到的字符寫入相應(yīng)文檔：keyword，words，digit，single，double；其它字符標(biāo)示為無法識別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫入文件Dualistic_formula，該文件的內(nèi)容包括統(tǒng)計結(jié)果（排除重復(fù)出現(xiàn)的字符）和二元式。這七個文件會在程序執(zhí)行時自動創(chuàng)建，程序結(jié)束時，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗，測試。不同類別的字符通過相應(yīng)的函數(shù)模塊來分析識別。普通標(biāo)識符由函數(shù)intword（charch）來識別，并進(jìn)一步由函數(shù)intkeyword（charkey[]）來分離普通標(biāo)識符和關(guān)鍵字；數(shù)字有函數(shù)intdigit（charch）來識別；分界符由函數(shù)intdelimiter（charch）來識別；其他字符即為非法字符。該程序中，全局變量共有兩個intcharacters_exist=0和intountoffinal=0。characters_exist用來判斷是否是純數(shù)字，countoffinal用來記錄finalresult函數(shù)執(zhí)行的次數(shù)。統(tǒng)計主函數(shù)在內(nèi)，總共16個函數(shù)模塊，除了前面說到得識別字符的函數(shù)外，還有對文件進(jìn)行操作的函數(shù)，對數(shù)組操作的函數(shù)和實現(xiàn)顯示功能的函數(shù)。主函數(shù)中有六個文件指針，十一個字符數(shù)組，十個實現(xiàn)不同功能的變量。在程序設(shè)計過程中及時注釋，方便復(fù)讀和檢測。通過while循環(huán)和fgetc（FILE*fp）實現(xiàn)對字符的逐個讀入。5各部分的功能介紹及分析各函數(shù)及功能說明intword(charch)/*判斷是否為字母*/intdigit(charch)/*判斷是否為數(shù)字*/intdelimiter(charch)/*判斷是否是分界符*/intkeywordcompare(charkey[],charkeyword[])/*比較關(guān)鍵字*/intkeyword(charkey[])/*判斷是否是關(guān)鍵字*/voidwritetofile(charcha[])/*將數(shù)組cha[]寫入文件Dualistic_formula*/voidkeywordtofile(charcha[])/*將關(guān)鍵字寫入文件keyword*/voidwordstofile(charcha[])/*將標(biāo)識符寫入文件words*/voiddigittofile(charcha[])/*將數(shù)字寫入文件digit*/voidsingletofile(charcha[])/*將單分界符寫入文件single*/voiddoubletofile(charcha[])/*將雙分界符寫入文件double*/voiderrortofile(charcha[])/*將非法字符寫入文件error*/voiddisplayw(charch,charcha[])/*立即顯示遇到的字符*/voidfinalresult(intdf,charfilen[],FILE*fpp,FILE*fpt)voidcleararray(intn,charcha[])/*清空數(shù)組*/6算法實現(xiàn)及模擬讀入源文件有函數(shù)intfgetc(FILE*FILE)實現(xiàn)，文件是否結(jié)束及循環(huán)讀入字符由while循環(huán)實現(xiàn)，while(!feof(fpr))，其中fpr=fopen("sourcecode.txt","r")，sourcecode.txt為存放源程序的文本文件。判斷字符類別由五個函數(shù)實現(xiàn)：intword(charch)/*判斷是否為字母*/intdigit(charch)/*判斷是否為數(shù)字*/intdelimiter(charch)/*判斷是否是分界符*/intkeywordcompare(charkey[],charkeyword[])/*比較關(guān)鍵字*/intkeyword(charkey[])/*判斷是否是關(guān)鍵字*/存儲或顯示由八個函數(shù)實現(xiàn)：voidwritetofile(charcha[])voidkeywordtofile(charcha[])voiddigittofile(charcha[])voidsingletofile(charcha[])voiddoubletofile(charcha[])voiderrortofile(charcha[])voiddisplayw(charch,charcha[])voidfinalresult(intdf,charfilen[],FILE*fpp,FILE*fpt)7設(shè)計思路及關(guān)鍵問題7.1處理時機(jī)確定算法的基本任務(wù)是從字符串表示的源程序中識別出具有獨立意義的單詞符號，其基本思想是根據(jù)掃描到單詞符號的種類，分別存儲或顯示。數(shù)字和標(biāo)識符被分界符或非法字符分開，分界符同樣被數(shù)字或標(biāo)識符或非法字符分開，當(dāng)非法字符與數(shù)字或標(biāo)識符鄰接或混雜時，數(shù)字或標(biāo)識符則不能成為數(shù)字或標(biāo)識符，而成為非法字符，這是非法字符的感染特性。但這個效果在遇到分界符時不起作用，既分界符遇到非法字符或者和非法字符混雜，分界符仍然為分界符。這就要求，如果要處理標(biāo)識符，就必須在遇到后面的分界符時才能有所操作。7.2一個棘手問題數(shù)字同樣如此。遇到數(shù)字或標(biāo)識符同樣需要處理前面的分界符，但并不是所有的分解都必須在遇到數(shù)字或標(biāo)識符后才能處理的。例如出現(xiàn)連續(xù)的分界符時。當(dāng)出現(xiàn)連續(xù)的分界符時，棘手的問題才出現(xiàn)。形如!<==-a,這個分界符字符串該如何分析呢？第一個字符！是單分界符，那么是不是當(dāng)讀到！時就可以立即判斷這是一個單分界符呢？不能，因為還有形如字符串！=的可能性，這樣一來詞法分析器必須擁有展望未來的能力；那么<是不能判斷為單分界符的，因為，字符組合<=是雙分界符；問題出現(xiàn)了，字符組合==是雙分界符，還是單獨的認(rèn)為第二個=是單分界符，這就決定與規(guī)定了；既然在讀到單分界時不能立即判斷其具體歸類，那么當(dāng)讀到字符–后，還需要進(jìn)一步讀字符a，然后才能判斷字符–是否是單分界符，這樣一來，就需要在遇到字母或數(shù)字時，進(jìn)行對前面的分界符的判斷，這時又需要退兩步來分析，也就是需要分析字符a前面的兩個字符才能判斷字符a前面的一個字符是什么屬性；這就是說，出現(xiàn)連續(xù)的分界符時，需要尾隨的其他類的字符來輔助，以判斷分界符的具體屬性；可是，如果沒有其他字符尾隨呢，最好的一個分界符該如何處理？還有，如果標(biāo)識符同樣沒有其他字符尾隨，又該如何處理？7.3解決方法可以用一個變量來標(biāo)示前面是否出現(xiàn)雙分界符。同樣，用不同的變量實現(xiàn)不同的功能。下面是本程序的一些功能變量。charch;/*接受從文件中讀出的單個字符*/intunknown=0;/*判斷是否出現(xiàn)無法識別的字符*/intnumofword=0;/*字母數(shù)組中的字母個數(shù)*/intnumofdigit=0;/*數(shù)字?jǐn)?shù)組中的數(shù)字個數(shù)*/intnumofsingle=0;/*連續(xù)出現(xiàn)的單分界符個數(shù)*/intcatchdoubleword=0;/*是否出現(xiàn)雙分界符*/intenddelimit=10;/*末尾是否存在分界符*/intnumofspace=0;/*限制遇到過多的空格*/8結(jié)果及測試分析8.1待分析程序源代碼#include<iostream>#include<string>usingnamespacestd;#defineMAX22charch='';stringkey[15]={"begin","end","if","then","else","while","write","read","do","call","const","char","until","procedure","repeat"};intIskey(stringc){//關(guān)鍵字判斷inti;for(i=0;i<MAX;i++){if(key[i].compare(c)==0)return1;}return0;}intIsLetter(charc){//判斷是否為字母if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A')))return1;elsereturn0;}intIsDigit(charc){//判斷是否為數(shù)字if(c>='0'&&c<='9')return1;elsereturn0;}voidanalyse(FILE*fpin){stringarr="";while((ch=fgetc(fpin))!=EOF){arr="";if(ch==''||ch=='\t'||ch=='\n'){}elseif(IsLetter(ch)){while(IsLetter(ch)||IsDigit(ch)){if((ch<='Z')&&(ch>='A'))ch=ch+32;arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);if(Iskey(arr)){cout<<arr<<"\t$關(guān)鍵字"<<endl;}elsecout<<arr<<"\t$普通標(biāo)識符"<<endl;}elseif(IsDigit(ch)){while(IsDigit(ch)||ch=='.'&&IsDigit(fgetc(fpin))){arr=arr+ch;ch=fgetc(fpin);}fseek(fpin,-1L,SEEK_CUR);cout<<arr<<"\t$無符號實數(shù)"<<endl;}elseswitch(ch){case'+':case'-':case'*':case'=':case'/':cout<<ch<<"\t$運算符"<<endl;break;case'(':case')':case'[':case']':case';':case'.':case',':case'{':case'}':cout<<ch<<"\t$界符"<<endl;break;case':':{ch=fgetc(fpin);if(ch=='=')cout<<":="<<"\t$運算符"<<endl;else{cout<<"="<<"\t$運算符"<<endl;;fseek(fpin,-1L,SEEK_CUR);}}break;case'>':{ch=fgetc(fpin);if(ch=='=')cout<<">="<<"\t$運算符"<<endl;if(ch=='>')cout<<">>"<<"\t$輸入控制符"<<endl;else{cout<<">"<<"\t$運算符"<<endl;fseek(fpin,-1L,SEEK_CUR);}}break;case'<':{ch=fgetc(fpin);if(ch=='=')cout<<"<="<<"\t$運算符"<<endl;elseif(ch=='<')cout<<"<<"<<"\t$輸出控制符"<<endl;elseif(ch=='>')cout<<"<>"<<"\t$運算符"<<endl;else{cout<<"<"<<"\t$運算符"<<endl;fseek(fpin,-1L,SEEK_CUR);}}break;default:cout<<ch<<"\t$無法識別字符"<<endl;}}}voidmain(){charin_fn[30];FILE*fpin;cout<<"請輸入源文件名（包括路徑和后綴名）:";for(;;){cin>>in_fn;if((fpin=fopen(in_fn,"r"))!=NULL)break;elsecout<<"文件路徑錯誤！請輸入源文件名（包括路徑和后綴名）:";}cout<<"\n********************分析如下*********************"<<endl;analyse(fpin);fclose(fpin);cout<<endl;cout<<"按任意鍵結(jié)束"<<endl;inta;cin>>a;} 8.2運行結(jié)果如圖1，圖2圖1圖2由此可見，程序運行及結(jié)果輸出是完全正確的！9．總結(jié)通過課程設(shè)計，樹立了正確的設(shè)計思想，鞏固了所學(xué)編程語言基本知識，增進(jìn)