MySQL源碼分析

1、MySQL源碼分析代碼結構與基本流程彭立勛Alibaba DBA TeamTopics MySQL基本架構 源碼目錄結構 核心類庫與函數(shù) 主要模塊 數(shù)據(jù)流MySQL基本架構基本架構MySQL目錄結構目錄結構(1)BUILD: 內(nèi)含在各個平臺、各種編譯器下進行編譯的腳本。如compile-pentium-debug表示在pentium架構上進行調試編譯的腳本。client: 客戶端工具，如mysql,mysqladmin之類。cmd-line-utils: readline,libedit工具。config: 給aclocal使用的配置文件。dbug: 提供一些調試用的宏定義。Docs: MyS

2、QL在不同平臺下的參考手冊extra: 提供innochecksum,resolveip等額外的小工具。include: 包含的頭文件libmysql: 庫文件，生產(chǎn)libmysqlclient.so。libmysql_r: 線程安全的庫文件，生成libmysqlclient_r.so。libmysqld: 嵌入式MySQL Server庫.libservices: 5.5.0中新加的目錄，實現(xiàn)了打印功能。MySQL目錄結構目錄結構(2)man: 適合man命令查看的幫助文件。mysql-test: mysqld的測試工具套件。mysys: 為實現(xiàn)跨平臺，MySQL自己實現(xiàn)了一套常用的數(shù)據(jù)結構

3、和算法，如string, hash等。還包含一些底層函數(shù)的跨平臺封裝,一般以my_開頭。netware: 在netware平臺上進行編譯時需要的工具和庫。plugin: MySQL 5.1開始支持一個插件式API接口,不需要重啟mysqld即可動態(tài)載入插件,FullText就是一個例子。pstack: GNU異步棧追蹤工具。regex: 正則表達式實現(xiàn)(來自多倫多大學Henry Spencer大牛的源碼)。scripts: 提供腳本工具，如mysql_install_db/mysqld_safe等。server-tools:server-tools: 包含instance_manager子目錄

4、,負責實例的本地和遠程管理。MySQL目錄結構目錄結構(3)sql: MySQL Server主要代碼，將會生成mysqld文件。sql-bench: 一些基準測試代碼代碼,主要是Perl程序(雖然后綴是sh)。sql-common: 存放部分服務器端和客戶端都會用到的代碼,有些地方的同名文件是這里lin過去的。storage: 存儲引擎所在目錄。strings: string庫,包含很多字符串處理的函數(shù)。support-files: f示例配置文件及編譯所需的一些工具。tests: 測試文件所在目錄。unittest: 單元測試文件。vio: 虛擬io系統(tǒng)，是對network io的封裝,把

5、不同的協(xié)議封裝成統(tǒng)一的IO函數(shù)。win: 在windows平臺編譯所需的文件和一些說明。zlib: zlib算法庫(GNU)InnoDB目錄結構目錄結構(1)btr: B+樹的實現(xiàn)buf: 緩沖池的實現(xiàn),包括LRU算法,Flush刷新算法等dict: InnoDB內(nèi)存數(shù)據(jù)字典的實現(xiàn)dyn: InnoDB動態(tài)數(shù)組的實現(xiàn)fil: InnoDB文件數(shù)據(jù)結構以及對于文件的一些操作fsp: 對InnoDB物理文件的管理,如頁/區(qū)/段等(即File Space)ha: 哈希算法的實現(xiàn)handler: 繼承與MySQL的handler,實現(xiàn)handler API與Server交互ibuf: 插入緩沖(Ins

6、ert Buffer)的實現(xiàn)include: InnoDB所有頭文件都放在這個目錄,是查找結構定義的最佳地點lock: InnoDB的鎖實現(xiàn)及三種鎖算法實現(xiàn)log: 日志緩沖(Log Buffer)和重做日志組(Redo Log)的實現(xiàn)InnoDB目錄結構目錄結構(2)mem: 輔助緩沖池(Additional Memory Pool)的實現(xiàn),用來申請一些內(nèi)部數(shù)據(jù)結構的內(nèi)存mtr: 事務的底層實現(xiàn)(日志,緩沖)os: 封裝一些對于操作系統(tǒng)的操作page: 頁的實現(xiàn),研究InnoDB文件結構,這個目錄至關重要pars: 重載部分MySQL的SQL Parser(有待商榷)que: Query g

7、raph,基本上沒啥用read: 讀取游標的實現(xiàn)rem: 行管理操作(比較操作,打印等)row: 對于各種類型行數(shù)據(jù)操作的實現(xiàn)srv: InnoDB后臺線程,啟動服務,Master Thread,SQL隊列等sync: InnoDB互斥變量(Mutex)的實現(xiàn),基本同步機制thr: InnoDB封裝的可移植線程庫InnoDB目錄結構目錄結構(3)trx: 事務的實現(xiàn)usr: Session管理ut: 各種通用小工具核心類庫核心類庫THD: 線程類Item: Item類(查詢條目,函數(shù),WHERE,ORDER,GROUP,ON子句等)TABLE: 表描述符TABEL_LIST: JOIN操作描述

8、符Field: 列數(shù)據(jù)類型及屬性定義LEX: 語法樹Protocol: 通訊協(xié)議NET: 網(wǎng)絡描述符handler: 存儲引擎接口核心函數(shù)庫核心函數(shù)庫(1)內(nèi)存操作內(nèi)存操作:init_alloc_root: 內(nèi)存池初始化,生成內(nèi)存池根(MEM_ROOT)alloc_root: 申請內(nèi)存池內(nèi)存,從mem_root制定的內(nèi)存池申請內(nèi)存塊free_root: 釋放內(nèi)存池,通過MyFlags指定哪種內(nèi)存可以被釋放文件操作文件操作:my_open: 打開一個文件my_close: 關閉一個文件my_b_flush_io_cache: 講數(shù)據(jù)從內(nèi)存緩沖寫到物理磁盤end_io_cache: 釋放一個IO_

9、CACHE對象哈希操作哈希操作:_hash_init: 初始化HASH描述符hash_search: 搜索哈希表,調用hash_firsthash_first: 返回哈希表中找到的第一個行指針,否則返回0核心函數(shù)庫核心函數(shù)庫(2)字符串操作字符串操作:strappend:填充字符串strmov: 移動字符串到新地址核心算法核心算法Bitmaps bitmap_init/bimap_free: 創(chuàng)建與釋放一個位圖 (8*n個位為單位)bitmap_set_bit/bitmap_fast_test_and_set: 設置位圖的一個位bitmap_clear_all/bitmap_set_all:

10、清空或全部設置一個位圖bitmap_cmp: 對兩個位圖的特定位比較Join Buffer如果存在條件過濾,則第一次過濾完的記錄將放入Join Buffer,避免第二次再判斷Sort Buffer算法一: 將排序字段和主鍵放入Sort Buffer排序,按照結果用主鍵取出數(shù)據(jù)返回算法二: 將整行數(shù)據(jù)放入Sort Buffer,排序完成后直接從Sort Buffer返回數(shù)據(jù)MySQLMySQL數(shù)據(jù)流數(shù)據(jù)流MySQL啟動流程啟動流程主要代碼在sql/mysqld.cc中，精簡后的代碼如下：int main(int argc, char *argv) /標準入口函數(shù)MY_INIT(argv0);/調

11、用mysys/My_init.c-my_init()，初始化mysql內(nèi)部的系統(tǒng)庫logger.init_base(); /初始化日志功能init_common_variables(MYSQL_CONFIG_NAME,argc, argv, load_default_groups) /調用load_defaults(conf_file_name, groups, &argc, &argv)，讀取配置信息user_info = check_user(mysqld_user);/檢測啟動時的用戶選項set_user(mysqld_user, user_info);/設置以該用戶運行

12、init_server_components();/初始化內(nèi)部的一些組件，如table_cache, query_cache等。network_init();/初始化網(wǎng)絡模塊，創(chuàng)建socket監(jiān)聽start_signal_handler();/ 創(chuàng)建pid文件mysql_rm_tmp_tables() | acl_init(opt_noacl)/刪除tmp_table并初始化數(shù)據(jù)庫級別的權限。init_status_vars(); / 初始化mysql中的status變量start_handle_manager();/創(chuàng)建manager線程handle_connections_sockets(

13、);/主要處理函數(shù)，處理新的連接并創(chuàng)建新的線程處理MySQL監(jiān)聽連接監(jiān)聽連接主要代碼在sql/mysqld.cc中(handle_connections_sockets)，精簡后的代碼如下：pthread_handler_t handle_connections_sockets(void *arg _attribute_(unused) FD_SET(unix_sock,&clientFDs); / unix_socket在network_init中被打開 while (!abort_loop) / abort_loop是全局變量，在某些情況下被置為1表示要退出。 readFDs=cl

14、ientFDs; / 需要監(jiān)聽的socket select(int) max_used_connection,&readFDs,0,0,0); / select異步(?科學家解釋下是同步還是異步)監(jiān)聽，當接收到?以后返回。 new_sock = accept(sock, my_reinterpret_cast(struct sockaddr *) (&cAddr), &length); / 接受請求 thd= new THD; / 創(chuàng)建mysqld任務線程描述符，它封裝了一個客戶端連接請求的所有信息 vio_tmp=vio_new(new_sock, VIO_TYPE_

15、SOCKET, VIO_LOCALHOST); / 網(wǎng)絡操作抽象層 my_net_init(&thd-net,vio_tmp); / 初始化任務線程描述符的網(wǎng)絡操作 create_new_thread(thd); / 創(chuàng)建任務線程 MySQL創(chuàng)建連接創(chuàng)建連接(1)主要代碼在sql/mysqld.cc中(create_new_thread/create_thread_to_handle_connection)，精簡后的代碼如下：static void create_new_thread(THD *thd) NET *net=&thd-net; if (connection_cou

16、nt = max_connections + 1 | abort_loop) / 看看當前連接數(shù)是不是超過了系統(tǒng)配置允許的最大值，如果是就斷開連接。 close_connection(thd, ER_CON_COUNT_ERROR, 1); delete thd; +connection_count; thread_scheduler.add_connection(thd); / 將新連接加入到thread_scheduler的連接隊列中。MySQL創(chuàng)建連接創(chuàng)建連接(2)而thread_scheduler轉而調用create_thread_to_handle_connection,精簡后的代碼

17、如下：void create_thread_to_handle_connection(THD *thd) if (cached_thread_count wake_thread) /看當前工作線程緩存(thread_cache)中有否空余的線程 thread_cache.append(thd); pthread_cond_signal(&COND_thread_cache); / 有的話則喚醒一個線程來用 else threads.append(thd); pthread_create(&thd-real_id,&connection_attrib, handle_on

18、e_connection, (void*) thd); /沒有可用空閑線程則創(chuàng)建一個新的線程 MySQL創(chuàng)建連接創(chuàng)建連接(3)創(chuàng)建連接使用handle_one_connection函數(shù),精簡代碼如下:pthread_handler_t handle_one_connection(void *arg) thread_scheduler.init_new_connection_thread(); / 初始化線程預處理操作 setup_connection_thread_globals(thd); /載入一些Session級變量 for (;) lex_start(thd); /初始化LEX詞法解析

19、器 login_connection(thd); / 進行連接身份驗證 prepare_new_connection_state(thd); / 初始化線程Status,即show status看到的 do_command(thd); / 處理命令 end_connection(thd); /沒事做了關閉連接,丟入線程池 MySQL執(zhí)行執(zhí)行Query(1)do_command函數(shù)在sql/sql_parse.cc定義,代碼如下:bool do_command(THD *thd) NET *net= &thd-net; packet_length = my_net_read(net);

20、packet = (char*) net-read_pos; command = (enum enum_server_command) (uchar) packet0; / 解析客戶端傳過來的命令類型 dispatch_command(command, thd, packet+1, (uint) (packet_length-1);MySQL執(zhí)行執(zhí)行Query(2)再看dispatch_command函數(shù)在sql/sql_parse.cc定義,精簡代碼如下:bool dispatch_command(enum enum_server_command command, THD *thd, cha

21、r* packet, uint packet_length) NET *net = &thd-net; thd-command = command; switch (command) /判斷命令類型 case COM_INIT_DB: .; case COM_TABLE_DUMP: .; case COM_CHANGE_USER: .; . case COM_QUERY: /如果是Query alloc_query(thd, packet, packet_length); /從網(wǎng)絡數(shù)據(jù)包中讀取Query并存入thd-query mysql_parse(thd, thd-query, t

22、hd-query_length, &end_of_stmt); /送去解析 MySQL執(zhí)行執(zhí)行Query(3)mysql_parse函數(shù)負責解析SQL(sql/sql_parse.cc),精簡代碼如下:void mysql_parse(THD *thd, const char *inBuf, uint length, const char * found_semicolon) lex_start(thd); /初始化線程解析描述符 if (query_cache_send_result_to_client(thd, (char*) inBuf, length) lex; / 解析過后的

23、SQL語句的語法結構 TABLE_LIST *all_tables = lex-query_tables; / 該語句要訪問的表的列表 switch (lex-sql_command) . case SQLCOM_INSERT: insert_precheck(thd, all_tables); mysql_insert(thd, all_tables, lex-field_list, lex-many_values, lex-update_list, lex-value_list, lex-duplicates, lex-ignore); break; . case SQLCOM_SELECT: check_table_access(thd, lex-exchange ? SELECT_ACL | FILE_ACL : SELECT_ACL, all_tables, UINT_MAX, FALSE); / 檢查用戶對數(shù)據(jù)表的訪問權限 execute_sqlcom_select(thd, all_tables); / 執(zhí)行select語句 break; MySQL執(zhí)行執(zhí)行Query(5)我們看一個例子, mysql_insert (在sql/sql_insert.cc),精簡代碼如下