丨python編譯器二從ast到字節(jié)碼

Python編譯器把詞法分析和語(yǔ)法分析叫做“解析（Parse）”，并且放在下。而從AST到生成字節(jié)碼的過(guò)程，才叫做“編譯（Compile）”。當(dāng)然，這里編譯的含義是比較狹義的。你要注意，不僅是Python編譯器，其他編譯器也是這樣來(lái)使用這兩個(gè)詞匯，包括我們已經(jīng)研究過(guò)的Java編譯器，你要熟悉這兩個(gè)詞匯的用法，以便閱讀英文文Python的編譯工作的主干代碼是 pile.c中，它主要完成5項(xiàng)工作第一步，檢查uture語(yǔ)句。ftre語(yǔ)句是Python版本的特性，提前適應(yīng)語(yǔ)法和語(yǔ)義上的改變。這顯然會(huì)影響到編譯器如何工作。比如，對(duì)于“87”，用不同版本的語(yǔ)義去處理，得到的結(jié)果是不一樣的。有的會(huì)得到整數(shù)“1”，有的會(huì)得到浮點(diǎn)數(shù)“1.14285…”，編譯器內(nèi)部實(shí)際上是調(diào)用了不同的除法函數(shù)。第二步，建立符號(hào)表第三步，為基本塊產(chǎn)生指令其中的第一步，它是Python言的一個(gè)特性，但不是我們編譯技術(shù)關(guān)注的重點(diǎn)，所以這通常來(lái)說(shuō)，在語(yǔ)義分析階段首先是建立符號(hào)表，然后在此基礎(chǔ)上做消解和類(lèi)型檢查而Python是動(dòng)態(tài)類(lèi)型的語(yǔ)言，類(lèi)型檢查應(yīng)該是不需要了，但消解還是要做的。并且你會(huì)發(fā)現(xiàn)，Python的消解有其獨(dú)特之處。首先，我們來(lái)看看Python的符號(hào)表是一個(gè)什么樣的數(shù)據(jù)結(jié)構(gòu)。在中定義了兩個(gè)結(jié)構(gòu)，分別是符號(hào)表和符號(hào)表的條圖1：符號(hào)表和符號(hào)在編譯的過(guò)程中，針對(duì)每個(gè)模塊（也就是一個(gè)Python文件）會(huì)生成一個(gè)符號(hào)（symtable）Python序被劃分成“塊（block）”，塊分為三種：模塊、類(lèi)和函數(shù)。每種塊其實(shí)就是一個(gè)作用域，而在Python里面還叫做命名空間。每個(gè)塊對(duì)應(yīng)一個(gè)符號(hào)表?xiàng)l目（ySTEntryObjct），每個(gè)符號(hào)表?xiàng)l目里存有該塊里的所有符號(hào)（stesymbls）。每個(gè)塊還可以有多個(gè)子塊（se_ildren），構(gòu)成樹(shù)狀結(jié)構(gòu)。在符號(hào)表里，有一個(gè)st_blocks字段，這是個(gè)字典，它能通過(guò)模塊、類(lèi)和函數(shù)的AST節(jié)點(diǎn)，查找到Python程序的符號(hào)表?xiàng)l目，通過(guò)這種方式，就把AST和符號(hào)表關(guān)聯(lián)在了一我們來(lái)看看，對(duì)于下面的示例程序，它對(duì)應(yīng)的符號(hào)表是什么樣子3init(self,4self.x=5foo(self,6c=a+self.x+#了外部變量7return這個(gè)示例程序有模塊、類(lèi)和函數(shù)三個(gè)級(jí)別的塊。它們分別對(duì)應(yīng)一條符號(hào)表?xiàng)l圖2：示例程序?qū)?yīng)的符號(hào)你可以看到，每個(gè)塊里都有ste_symbols段，它是一個(gè)字典，里面保存了本命名空間涉然后，我們?cè)倏纯瘁槍?duì)這個(gè)示例程序，符號(hào)表里的主要字段的取好了，通過(guò)這樣一個(gè)例子，你大概就知道了Python符號(hào)表是怎樣設(shè)計(jì)的了。下面我們建立符號(hào)表的主程序是Python/symtable.c中的PySymtable_BuildObject()函數(shù)Python建立符號(hào)表的過(guò)程，需要做兩遍處理，如下圖所示圖3：Python建立符號(hào)表的過(guò)第一遍，主要做了兩件事情。第一件事情是建立一個(gè)個(gè)的塊（也就是符號(hào)表?xiàng)l目），并形成樹(shù)狀結(jié)構(gòu)，就像示例程序那樣；第二件事情，就是給塊中的符號(hào)打上一定的標(biāo)記（flag）我們用GDB一下第一遍處理后生成的結(jié)果。你可以參考下圖，看一下我在PythonREPL中的輸入信息我在symtable_add_def_helper數(shù)中設(shè)置了斷點(diǎn)，便于調(diào)試。當(dāng)編譯器處理到foo數(shù)的時(shí)候，我在GDB中打印輸出了一些信息：我重點(diǎn)想讓你看的，是foo中各個(gè)符號(hào)的標(biāo)志信息：selfb20，c2，a16。這是什么意思1ste_symbols={'self':20,'b':20,'c':2,'a':這就需要看一下symtable.h中，對(duì)這些標(biāo)志位的定我給你整理成了一張更容易理解的圖，你參考一圖4：符號(hào)標(biāo)志信息中每個(gè)位的根據(jù)上述信息，你會(huì)發(fā)現(xiàn)self和b，其實(shí)是被標(biāo)記了3號(hào)位和5號(hào)位，意思是這兩個(gè)變量是函數(shù)參數(shù)，并且在foo中被使用。而a只標(biāo)記了5號(hào)位，意思是a這個(gè)變量在foo中被使用，但這個(gè)變量又不是參數(shù)，所以肯定是來(lái)自外部作用域的。我們?cè)倏纯碿，c只在2號(hào)位被標(biāo)記，表示這個(gè)變量在foo里被賦值了。但是，現(xiàn)在還有一些信息是不清楚的。比如，在foo使a，那么外部作用域中是否還有，變量c是在foo中賦值的。那它是本地變量，還是外部變量呢在這里，你能體會(huì)出Python言使用變量的特點(diǎn)：由于變量在賦值前，可以不用顯式聲正由于Python的這個(gè)特點(diǎn)，所以它在變量上有一些特殊的規(guī)定比如，想要在函數(shù)中給全局變量賦值，就必須加global鍵字，否則編譯器就會(huì)認(rèn)為這個(gè)變量只是一個(gè)本地變量。編譯器會(huì)給這個(gè)符號(hào)的1號(hào)位做標(biāo)記。而如果給其他外部作用域中的變量賦值，那就必須加nonlocal鍵字，并在3位上做標(biāo)記。這時(shí)候，該變量就是一個(gè)自由變量。在閉包功能中，編譯器還要對(duì)自由變量做特殊的管理接下來(lái)，編譯器會(huì)做第二遍的分析（見(jiàn)symtable_yze()函數(shù)）。在這遍分析里，編譯器會(huì)根據(jù)我們剛才說(shuō)的Python關(guān)于變量的語(yǔ)義規(guī)則，分析出哪些是全局變量、哪些是自由變量，等等。這些信息也會(huì)被放到符號(hào)的標(biāo)志位的第12~15位。11ste_symbols={'self':2068,'b':2068,'c':2050,'a':圖5：symtable.h中對(duì)作用域的標(biāo)以變量a為例，它的標(biāo)志值是6160，也就是二進(jìn)制的1100000010000。其標(biāo)記位設(shè)置如下，其作用域的標(biāo)志位是3，也就是說(shuō)，a是個(gè)隱式的全局變量。而self、b和c的作用域標(biāo)志位都是1，它們的意思是本地變量。圖6：作用域的標(biāo)志在第二遍的分析過(guò)程中，Python也做了一些語(yǔ)義檢查。你可以搜索一下Python/symtable.c代碼，里面有很多地方會(huì)產(chǎn)生錯(cuò)誤信息，比如“nonlocaldeclarationnotallowedatmodulelevel（在模塊級(jí)不允許非本地）”。另外，Python語(yǔ)言提供了符號(hào)表的API，方便你直接在REPL中，來(lái)查看編譯過(guò)程中好了，現(xiàn)在符號(hào)表已經(jīng)生成了?；贏ST和符號(hào)表，Python編譯器就可以生成字CFG我們可以用Python調(diào)用編譯器的API，來(lái)觀察字節(jié)碼生成的情cocompile("a+2","test.py","eval")//編譯表達(dá)式 30042054//執(zhí)行加66其中的LOAD_NAME、LOAD_CONST、BINARY_ADD和RETURN_VALUE都是字節(jié)的指令對(duì)比一下，Java的字節(jié)碼的每個(gè)指令只有一個(gè)字節(jié)長(zhǎng)，這意味著指令的數(shù)量不會(huì)超過(guò)2的8方（256）個(gè)Python的指令一開(kāi)始也是一個(gè)字節(jié)長(zhǎng)的，后來(lái)變成了一個(gè)字（word）的長(zhǎng)度，但我們?nèi)匀涣?xí)慣上稱(chēng)為字節(jié)碼。Python的文檔里有對(duì)所有字節(jié)碼的說(shuō)明，這里我就不開(kāi)并且，Python和Java的虛擬機(jī)一樣，都是基于棧的虛擬機(jī)。所以，它們的指令也很相這樣對(duì)比起來(lái)，你可以發(fā)現(xiàn)，它們主要的區(qū)別就在于，Java的字節(jié)碼對(duì)不同的數(shù)據(jù)類(lèi)型會(huì)提供不同的指令，而Python則不加區(qū)分。因?yàn)镻ython對(duì)所有的數(shù)值，都會(huì)提供統(tǒng)一的所以你可以看出，一門(mén)語(yǔ)言的IR，是跟這門(mén)語(yǔ)言的設(shè)計(jì)密切相關(guān)的。生成CFG和字節(jié)碼的代碼 pile.c中。調(diào)用順序如下總的邏輯是：以visit式遍歷整個(gè)AST，并建立基本塊和指令。對(duì)于每種AST都compiler_visit_expr1例，對(duì)于二元操作，編譯器首先會(huì)遞歸地遍歷左側(cè)子樹(shù)和右123456789compiler_visit_expr1(structcompiler*c,expr_ty{switch(e->kind).caseVISIT(c,expr,e-VISIT(c,expr,e ADDOP(c,binop(c,e->v.BinOp.op));//添加二元操作的指}那么基本塊是如何生成的呢編譯器在進(jìn)入一個(gè)作用域的時(shí)候（比如函數(shù)），至少要生成一個(gè)基本塊。而像循環(huán)語(yǔ)句、語(yǔ)句，還會(huì)產(chǎn)生額外的基本塊。所以，編譯的結(jié)果，會(huì)在compiler構(gòu)中保存一系列的基本塊，這些基本塊相互連接，構(gòu)成CFG；基本塊中又包含一個(gè)指令數(shù)組，每個(gè)指令又包含操作碼、參數(shù)等信息。圖7：基本塊和指為了直觀理解，我設(shè)計(jì)了一個(gè)簡(jiǎn)單的示例程序。foo數(shù)里面有一個(gè)if句，這樣會(huì)產(chǎn)生1def ifa>10 b= b= return通過(guò)GDB編譯過(guò)程，我們發(fā)現(xiàn)，它生成的CFG如下圖所示8：示例程序?qū)?yīng)的CFG，你要注意兩組箭頭實(shí)線箭頭是基本塊之間的跳轉(zhuǎn)關(guān)系，用b_next字段來(lái)標(biāo)記。虛線箭頭能夠基于_list把所有的基本塊串起來(lái)，形成一個(gè)鏈表，每一個(gè)新生成的基本塊指向前一個(gè)基本塊。只要有一個(gè)指針指向最后一個(gè)基本塊，就能所有的基本塊。你還可以通過(guò)GDB查看每個(gè)基本塊中的指令分別是什么，這樣你就會(huì)理解每個(gè)基本塊到到目前為止，我們已經(jīng)生成了CFG針對(duì)每個(gè)基本塊的指令數(shù)組。但我們還沒(méi)有生成最后匯編過(guò)程是在 iler.c中的assemle)函數(shù)中完成的。聽(tīng)名字，你會(huì)感覺(jué)這個(gè)階段做的事情似乎應(yīng)該比較像匯編語(yǔ)言的匯編器的功能。也確實(shí)如此。匯編語(yǔ)言的匯編器，能夠生成機(jī)器碼；而Pyhon的匯編階段，是生成字節(jié)碼，它們都是生成目標(biāo)代碼。具體來(lái)說(shuō)，匯編階段主要會(huì)完成以下任對(duì)于從一個(gè)基本塊跳轉(zhuǎn)到另一個(gè)基本塊的jump令，它們有些采用的是相對(duì)定位方生成PyCodeObject對(duì)象，這個(gè)對(duì)象里保存著最后生成的字節(jié)碼和其他輔助信息，用Python的解釋器執(zhí)行我們還是通過(guò)示例程序，來(lái)直觀地看一下匯編階段的工作成果。你可以參照下圖，使instaviz具看一下foo數(shù)的編譯結(jié)PyCodeObject象中，co_code段是生成的字節(jié)碼（用16制顯示）。你還能看如果把co_code字段的那一串字節(jié)碼反編譯一下，你會(huì)得到下面的信你會(huì)看到，一共11條指令，其中BB1是7條，BB2和BB3各2條。BB1里面是If條件和if塊中的內(nèi)容，BB2對(duì)應(yīng)的是else塊的內(nèi)容，BB3則對(duì)應(yīng)return語(yǔ)句。不過(guò)，如果你對(duì)照基本塊的定義，你其實(shí)會(huì)發(fā)現(xiàn)，BB1不是一個(gè)標(biāo)準(zhǔn)的基本塊。因?yàn)橐话銇?lái)說(shuō)，標(biāo)準(zhǔn)的基本塊只允許在最后一個(gè)語(yǔ)句做跳轉(zhuǎn)，其他語(yǔ)句都是順序執(zhí)行的。而我們看到第4個(gè)指令“POPJUMPFFALE14”其實(shí)是一個(gè)條件跳轉(zhuǎn)指令。盡管如此，因?yàn)镻ythonCFG是作為生成字節(jié)碼的一個(gè)中間結(jié)構(gòu)，并沒(méi)有基于做數(shù)據(jù)流分析和優(yōu)化，所以雖然基本塊不標(biāo)準(zhǔn)，但是對(duì)Python的編譯過(guò)程并無(wú)影響你還會(huì)注意到第7行指令“JUMP_FORWARD”，這個(gè)指令是一個(gè)基于相對(duì)位置的跳轉(zhuǎn)指令，它往前跳4個(gè)字，就會(huì)跳到BB3。這個(gè)跳轉(zhuǎn)距離就是在assemble階段去計(jì)算的，這說(shuō)到優(yōu)化，總體來(lái)說(shuō)，在編譯的過(guò)程中，Python編譯器的優(yōu)化功能是很有限的。在compiler.c代碼中，你會(huì)看到一點(diǎn)優(yōu)化邏輯。比如，在為if句生成指令的時(shí)候，編譯器就會(huì)看看if條件是否是個(gè)常數(shù)，從而不必生成if塊或者else塊的代碼。另一個(gè)優(yōu)化機(jī)會(huì)，就是在字節(jié)碼的基礎(chǔ)上優(yōu)化，這就是窺孔優(yōu)化，其實(shí)現(xiàn)Python/peephole.c中。它能完成的優(yōu)化包把多個(gè)LOAD_CONST指令替換為一條加載常數(shù)元組的指如果一個(gè)跳轉(zhuǎn)指令，跳到return指令，那么可以把跳轉(zhuǎn)指令直換成return指令如果一個(gè)條件跳轉(zhuǎn)指令，跳到另一個(gè)條件跳轉(zhuǎn)指令，則可以基于邏輯運(yùn)算的規(guī)則做化。比如，“x:JUMP_IF_FALSE_OR_POPy”和“y:JUMP_IF_FALSE_OR_POPz”可以直接簡(jiǎn)化為“x:JUMP_IF_FALSE_OR_POPz”。這是什么意思呢？第一句是依據(jù)棧頂?shù)闹底雠袛?，如果為false就跳轉(zhuǎn)到y(tǒng)。而第二句，繼續(xù)依據(jù)棧頂?shù)闹底雠袛啵绻麨閒alse就跳轉(zhuǎn)到z。那么，簡(jiǎn)化后，可以直接從第一句跳轉(zhuǎn)到z。去掉return指令后面的代置，則會(huì)先填充N(xiāo)OP指令，也就是不做任何操作。最后，才掃描一遍整個(gè)字節(jié)碼，把NOP指令去掉，并且調(diào)整受影響的jump指令的參數(shù)。今天這一講，我們繼續(xù)深入探索Python的編譯之旅。你需要記住以下幾Python通過(guò)一個(gè)建立符號(hào)表的過(guò)程來(lái)做相關(guān)的語(yǔ)義分析，包括做消解和其他語(yǔ)義檢查。由于Python可以不變量就直接使用，所以編譯器要能識(shí)別出正確的“定義-使用”關(guān)系