LinuxIO數(shù)據(jù)通道分享

1、1. IOIO數(shù)據(jù)通道處理層次數(shù)據(jù)通道處理層次2 2. 塊塊IOIO層層截獲截獲IOIO3 3. IO IO 調(diào)度調(diào)度 4 4. 中斷和中斷處理中斷和中斷處理 5 5. 總結(jié)總結(jié)目錄目錄VFS LayerNFSext2ext3NTFSPage cacheGeneric Block LayerI/O Scheduler LayerBlock Device Driver LayerBlock Device Layer系統(tǒng)調(diào)用1、IO數(shù)據(jù)通道處理層次：數(shù)據(jù)通道處理層次：塊塊IOIO子系統(tǒng)子系統(tǒng)塊設(shè)備：塊設(shè)備：塊設(shè)備是支持以固定長(zhǎng)度的塊為單位讀/寫(xiě)數(shù)據(jù)的存儲(chǔ)設(shè)備的總稱。塊設(shè)備包括支持隨機(jī)訪問(wèn)（如數(shù)碼相

2、機(jī)存儲(chǔ)卡，RAM盤(pán)）和尋到的硬件設(shè)備（如磁盤(pán)、軟盤(pán)、CDROM、內(nèi)存區(qū)域等），也可以是邏輯設(shè)備，如MD設(shè)備，Device mapper。注冊(cè)塊設(shè)備：注冊(cè)塊設(shè)備：一、 分配,初始化請(qǐng)求隊(duì)列,綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)；二、分配,初始化gendisk,給gendisk的major,fops,queue等成員賦值, 最后 添加gendisk.； 三、注冊(cè)塊設(shè)備驅(qū)動(dòng)。注銷塊設(shè)備注銷塊設(shè)備：一、 清除請(qǐng)求隊(duì)列.二、 刪除gendisk和gendisk的引用三、刪除對(duì)塊設(shè)備的引用,注銷塊設(shè)備驅(qū)動(dòng).塊塊IO層層截獲截獲IO塊設(shè)備處理請(qǐng)求函數(shù)：塊設(shè)備處理請(qǐng)求函數(shù)：請(qǐng)求處理是塊設(shè)備驅(qū)動(dòng)的核心，實(shí)際的工作都是在這個(gè)函

3、數(shù)執(zhí)行，是塊設(shè)備驅(qū)動(dòng)提供給上層的借口，塊設(shè)備將通過(guò)這個(gè)函數(shù)獲得I/O 請(qǐng)求。請(qǐng)求函數(shù)原型請(qǐng)求函數(shù)原型：int make_request (struct request_queue * q, struct bio* bio);或int make_request (struct request_queue_t * q);塊塊IO層層截獲截獲IOstruct request struct list_head queuelist;struct request_queue *q;unsigned int cmd_flags;/請(qǐng)求的類型sector_t _sector; /請(qǐng)求開(kāi)始扇區(qū)unsigned

4、int _data_len;請(qǐng)求的數(shù)據(jù)長(zhǎng)度struct bio *bio; 請(qǐng)求的第一個(gè)bio struct bio *biotail;請(qǐng)求的最后一個(gè)bio .;請(qǐng)求的幾個(gè)重要結(jié)構(gòu)：請(qǐng)求的幾個(gè)重要結(jié)構(gòu)：struct request_queuestruct list_headqueue_head; /請(qǐng)求隊(duì)列request_fn_proc*request_fn;/make_request_fn*make_request_fn;/請(qǐng)求處理函數(shù) unsigned longqueue_flags; /請(qǐng)求標(biāo)志 unsigned longnr_requests;請(qǐng)求隊(duì)列中最大請(qǐng)求數(shù) spinlock_t

5、*queue_lock;自旋鎖 .;塊塊IO層層截獲截獲IOstruct bio_vec struct page*bv_page;unsigned intbv_len;unsigned intbv_offset;請(qǐng)求的幾個(gè)重要結(jié)構(gòu)：請(qǐng)求的幾個(gè)重要結(jié)構(gòu)：struct bio sector_tbi_sector;struct bio*bi_next; /* request queue link */unsigned longbi_rw;unsigned shortbi_vcnt; /* how many bio_vecs */unsigned shortbi_idx; struct bio_vec

6、*bi_io_vec;/請(qǐng)求數(shù)據(jù)的數(shù)據(jù)存放位置 .;塊塊IO層層截獲截獲IOrequest_queurequest_queue erequestrequestbiobiobiobiobio_vecbio_vecbio_vecbio_vecbio_vecbio_vecqueue_headBio_vecBio_vecbiotailbiotailBio_vecBio_vecBv_pageBv_pageBv_pageBv_pageBv_pageBv_pageBioBioBi_nextBi_next q q_sector_sectorBi_sectBi_sectororBi_sectBi_sectoro

7、r塊塊IO層層截獲截獲IO分配分配,初始化請(qǐng)求隊(duì)列初始化請(qǐng)求隊(duì)列,綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)的兩種方式：綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)的兩種方式： 一一.無(wú)請(qǐng)求隊(duì)列無(wú)請(qǐng)求隊(duì)列：適合于完全可以隨機(jī)訪問(wèn)的設(shè)備數(shù)碼相機(jī)存儲(chǔ)卡，RAM盤(pán)等（現(xiàn)在我們的SSD適合），這種方式不會(huì)經(jīng)過(guò) IO Schedule Layer。分配請(qǐng)求隊(duì)列、綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)：分配請(qǐng)求隊(duì)列、綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)：blk_alloc_queue分配請(qǐng)求隊(duì)列；Blk_queue_make_request(xxx_request_queue,make_request)綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)塊塊IO層層截獲截獲IO分配請(qǐng)求隊(duì)列、綁定請(qǐng)求隊(duì)列和

8、請(qǐng)求函數(shù)：分配請(qǐng)求隊(duì)列、綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)：blk_init_queue(make_request，queue_lock) 分配請(qǐng)求隊(duì)列且綁定請(qǐng)求隊(duì)列和請(qǐng)求函數(shù)。二二.有請(qǐng)求隊(duì)列：有請(qǐng)求隊(duì)列：適合于機(jī)械磁盤(pán)設(shè)備，使用請(qǐng)求隊(duì)列可以提高系統(tǒng)的性能，會(huì)經(jīng)過(guò) IO Schedule Layer。塊塊IO層層截獲截獲IOIO 調(diào)度層調(diào)度層IO調(diào)度層：調(diào)度層：接收上層發(fā)出的I/O請(qǐng)求，緩存請(qǐng)求并試圖合并相鄰的請(qǐng)求，并根據(jù)設(shè)置好的調(diào)度算法，回調(diào)驅(qū)動(dòng)層提供的請(qǐng)求處理函數(shù)，以處理具體的I/O 請(qǐng)求。 NOOP CFQ DeadlineAnticipatory 實(shí)現(xiàn)了最最簡(jiǎn)單的FIFO隊(duì)列,所有IO請(qǐng)求大致按

9、照先來(lái)后到的順序進(jìn)行操作.之說(shuō)“大致”,原因是NOOP在FIFO的 基礎(chǔ)上還做了相鄰IO請(qǐng)求的合并,并不是完完全全按照先進(jìn)先出的規(guī)則滿足IO請(qǐng)求按照IO請(qǐng)求的地址進(jìn)行排序,而不是按照先來(lái)后到的順序來(lái)進(jìn)行響應(yīng).除了CFQ本身具有的IO排序隊(duì)列外,DEADLINE額外分別為讀IO和寫(xiě) IO提供了FIFO隊(duì)列.ANTICIPATORY的在DEADLINE的基礎(chǔ)上,為每個(gè)讀IO都設(shè)置了6ms 的等待時(shí)間窗口.如果在這6ms內(nèi)OS收到了相鄰位置的讀IO請(qǐng)求,就可以立即滿足Linux 的四種的四種I/O調(diào)度算法調(diào)度算法IO 調(diào)度層調(diào)度層IO調(diào)度的流程：調(diào)度的流程：_make_request中斷和中斷處理中

10、斷和中斷處理硬件（如鍵盤(pán)）硬件（如鍵盤(pán)）中斷控制器中斷控制器處理器處理器處理器中斷內(nèi)核處理器中斷內(nèi)核do_IRQ()do_IRQ()該線上是否有中該線上是否有中斷處理程序斷處理程序handle_IRQ_eventhandle_IRQ_event在該線上運(yùn)行所在該線上運(yùn)行所有的中斷處理程有的中斷處理程序序ret_from_intr()ret_from_intr()產(chǎn)生一個(gè)中斷否是中斷：中斷：中斷是指在CPU正常運(yùn)行期間，由于內(nèi)外部事件或由程序預(yù)先安排的事件引起的CPU暫時(shí)停止正在運(yùn)行的程序，轉(zhuǎn)而為該內(nèi)部或外部事件或預(yù)先安排的事件服務(wù)的程序中去，服務(wù)完畢后再返回去繼續(xù)運(yùn)行被暫時(shí)中斷的程序。Linu

11、x中通常分為外部中斷（又叫硬件中斷）和內(nèi)部中斷（又叫異常）。中斷和中斷處理中斷和中斷處理中斷處理：中斷處理：中斷處理程序要求快速、高效，而又想中斷處理程序處理的工作量多，所以把中斷處理分成中斷上半部和下半部。上半部：上半部：有嚴(yán)格時(shí)限的工作，如：對(duì)接收中斷進(jìn)行答復(fù)或復(fù)位；下半部：下半部：可以稍后或者說(shuō)可以延遲一點(diǎn)的工作；中斷處理程序中斷處理程序：操作系統(tǒng)在響應(yīng)一個(gè)中斷的時(shí)候，內(nèi)核會(huì)執(zhí)行一個(gè)函數(shù)，該函數(shù)，這個(gè)函數(shù)就是中斷處理程序。中斷和中斷處理中斷和中斷處理注冊(cè)中斷處理函數(shù)原型：注冊(cè)中斷處理函數(shù)原型： int request_irq(unsigned int irq,irq_handler_t

12、handler,unsigned long flags, const char *devname, void *dev_id)釋放中斷處理函數(shù)原型：釋放中斷處理函數(shù)原型：void free_irq(unsigned int irq, void *dev_id)Irq：表示要分配的中斷號(hào)；handler：中斷處理函數(shù)；Flags：中斷處理程序標(biāo)志；如IRQ_DISABLED，IRQ_SHARED等；Name:中斷相關(guān)設(shè)備的名字；Dev_id: 用于共享中斷線：注冊(cè)、釋放中斷處理程序注冊(cè)、釋放中斷處理程序：驅(qū)動(dòng)處理程序可以通過(guò)request_irq()函數(shù)注冊(cè)一個(gè)中斷處理程序，并且激活中斷線，以便

13、處理中斷。中斷和中斷處理中斷和中斷處理三、工作隊(duì)列：三、工作隊(duì)列：二、二、tasklet:中斷下半部實(shí)現(xiàn)機(jī)制：中斷下半部實(shí)現(xiàn)機(jī)制：一、軟中斷：中斷和中斷處理中斷和中斷處理軟中斷的實(shí)現(xiàn)軟中斷的實(shí)現(xiàn):軟中斷是在編譯期間靜態(tài)分配的，它由softirq_action 的結(jié)構(gòu)表示：struct softirq_action void (*action)(struct softirq_action *);軟中斷處理程序軟中斷處理程序:軟中斷處理程序action 的函數(shù)原型如下：Void softirq_handler(struct softirq_action *)當(dāng)內(nèi)核運(yùn)行一個(gè)軟中斷處理程序時(shí)，它會(huì)執(zhí)行

14、這個(gè)action函數(shù)。 中斷和中斷處理中斷和中斷處理中斷和中斷處理中斷和中斷處理執(zhí)行軟中斷執(zhí)行軟中斷:一個(gè)注冊(cè)的軟中斷必須被標(biāo)記后才會(huì)執(zhí)行，這叫觸發(fā)軟中斷，通常，中斷處理程序會(huì)在返回結(jié)束前會(huì)觸發(fā)軟中斷，使其在稍后被執(zhí)行。觸發(fā)軟中斷的函數(shù)是： raise_softirq_irqoff(); raise_softirq(); 中斷上半部、下半部的例子：中斷上半部、下半部的例子：SCSI子系統(tǒng)子系統(tǒng)中斷上半部：中斷上半部：scsi_done 中斷處理函數(shù)最終會(huì)調(diào)用的回調(diào)函數(shù)；blk_complete_request 一個(gè)結(jié)束請(qǐng)求的函數(shù)，會(huì)觸發(fā)軟中斷；到此中斷上半部結(jié)束；中斷下半部中斷下半部： （軟中

15、斷機(jī)制）（軟中斷機(jī)制）blk_done_softirqscsi_softirq_donescsi_finish_commandscsi_io_completionscsi_end_requestblk_end_iobio_endio。中斷和中斷處理中斷和中斷處理工作隊(duì)列：工作隊(duì)列：工作隊(duì)列是另一種將工作推后執(zhí)行的形式，它可以把推后執(zhí)行的工作交給一個(gè)內(nèi)核線程來(lái)執(zhí)行，也就是用這種機(jī)制實(shí)現(xiàn)中斷下半部的是在進(jìn)程上下文中執(zhí)行的，工作隊(duì)列可以重新調(diào)度甚至睡眠。工作隊(duì)列的實(shí)現(xiàn)：工作隊(duì)列的實(shí)現(xiàn)：工作隊(duì)列子系統(tǒng)是一個(gè)用于創(chuàng)建內(nèi)核線程的接口，通過(guò)它創(chuàng)建的進(jìn)程負(fù)責(zé)由內(nèi)核其他部分排到隊(duì)列里的任務(wù)。它創(chuàng)建內(nèi)核線程稱為工

16、作者線程。工作隊(duì)列線程可以讓你的驅(qū)動(dòng)程序創(chuàng)建一個(gè)專門(mén)的工作者線程來(lái)處理推后執(zhí)行的工作。同時(shí)也提供一個(gè)缺省的工作者線程來(lái)處理這些操作。表示線程的數(shù)據(jù)結(jié)構(gòu)：中斷和中斷處理中斷和中斷處理表示線程的數(shù)據(jù)結(jié)構(gòu)：表示線程的數(shù)據(jù)結(jié)構(gòu)：struct workqueue_struct struct cpu_workqueue_struct *cpu_wq;struct list_head list;const char *name;int singlethread;int freezeable;/* Freeze threads during suspend */int rt;#ifdef CONFIG_LOC

17、KDEPstruct lockdep_map lockdep_map;#endif;表示工作的數(shù)據(jù)結(jié)構(gòu)：表示工作的數(shù)據(jù)結(jié)構(gòu)：struct work_struct atomic_long_t data;struct list_head entry;work_func_t func;中斷和中斷處理中斷和中斷處理使用工作隊(duì)列：使用工作隊(duì)列：一、創(chuàng)建推后執(zhí)行的工作：1、靜態(tài)創(chuàng)建：DECLARE_WORK(name，void (*func) (void *),void *data);2、動(dòng)態(tài)創(chuàng)建：INIT_WORK(struct work_struct *work, oid (*func) (void

18、*),void *data);二、工作隊(duì)列處理函數(shù)： 工作處理函數(shù)的原型：void work_handler(void *data);不能訪問(wèn)用戶空間。中斷和中斷處理中斷和中斷處理三、對(duì)工作進(jìn)行調(diào)度： 把給定工作的處理函數(shù)提交給缺省的events工作者線程： schedule_work(); 調(diào)用此函數(shù)work馬上會(huì)被調(diào)度，當(dāng)所在處理器上的工作隊(duì)列線程被 喚醒時(shí)就會(huì)被執(zhí)行；中斷和中斷處理中斷和中斷處理中斷和中斷處理中斷和中斷處理 工作隊(duì)列實(shí)際例子：工作隊(duì)列實(shí)際例子：如：擦除命令中斷上半部：中斷上半部：Mvumi_isr_handler() 中斷處理函數(shù)；Mvumi_launch_event s

19、() 創(chuàng)建將要推后執(zhí)行的工作，調(diào)用schedule_work(),調(diào)度work 把給定的工作的處理函數(shù)提交給缺省的events工作者線程 ，最后調(diào)用mvumi_complete_internel_cmd中斷處理程序上半部結(jié)束，喚醒發(fā)送內(nèi)部管理命令的線程。中斷下半部：中斷下半部：工作隊(duì)列機(jī)制缺省的events工作者線程，當(dāng)該線程被喚醒時(shí)，會(huì)處理執(zhí)行推后處理的work。下半部機(jī)制的選擇下半部機(jī)制的選擇：首先，如果需要一個(gè)可以休眠、可以調(diào)度的實(shí)體來(lái)執(zhí)行推后完成的工作，選擇工作隊(duì)列；否則用tasklet,還有如果專注性能的提高，可以使用軟中斷。 下半部下半部 上下文上下文 順序執(zhí)行保障順序執(zhí)行保障 接口復(fù)雜度接口復(fù)雜度 軟中斷 中斷 沒(méi)有 復(fù)雜 tasklet 中斷同類型不能同時(shí)執(zhí)行 次之 工作隊(duì)列 進(jìn)程沒(méi)有（進(jìn)程一樣） 最簡(jiǎn)單 實(shí)現(xiàn)下半部機(jī)制比較實(shí)現(xiàn)下半部機(jī)制比較中斷和中斷處理中斷和中斷處理中斷和中斷處理實(shí)際實(shí)現(xiàn)：中斷和中斷處理實(shí)際實(shí)現(xiàn)：對(duì)于普通讀寫(xiě)和trim命令中斷處理只有上半部：Mvumi_isr_handlermvumi_receive_ob_list_entry g_complete_cmd r