架構(gòu)高性價比的分布式計算機集群

1、架構(gòu)高性價比的分布式計算機集群.txt機會就像禿子頭上一根毛，你抓住就抓住了，抓不住 就沒了。我和你說了 10分鐘的話，但卻沒有和你產(chǎn)生任何爭論。那么，我們之間一左有個人 變得虛偽無比！過錯是短暫的遺憾，錯過是永遠(yuǎn)的遺憾。相遇是緣，相知是份，相愛是約定, 相守才是真愛。架構(gòu)高性價比的分布式計算機集群.txt我這輩子只有兩件事不會：這也不會, 那也不會。人家有的是背景，而我有的是背影。肉的理想，白菜的命。肉的理想，白菜的命。 白馬啊 你死去哪了！是不是你把王子弄丟了不敢來見我了。架構(gòu)髙性價比的分布式計算機集群 正如你所看到的一樣，你的機器在絕大多數(shù)時間是空閑的，如果你在Windows下用任務(wù)管理

2、 器或其他的Linux平臺的工具（例如top, xload）觀察CPU,你會看到CPC的使用率常見在 12亂事實上，如果你有更多的計算札這種浪費會加劇，在一個有300臺計算機的部門里, CPU的空閑率是驚人的。然而這些部門還是需要強大的服務(wù)器用來編譯或模擬計算，這樣的 情況還會加劇，不止需要一臺，因為隨著用戶的增加，即使是8個CPU的服務(wù)器，滿負(fù)荷時 也不能把任務(wù)交給另外的空閑服務(wù)器，因為用戶很少會改變習(xí)慣去登陸另外一臺服務(wù)器。如 果能利用現(xiàn)有的汁算資源，把空閑的CPU利用起來，或者能讓服務(wù)器智能的遷移負(fù)荷，就是 你看下去的理由。集群的基本單位是單獨的計算機，稱為節(jié)點（node） o其可增長的

3、特性，稱為延展性（Scale）, 也就是向集群中加入計算機。集群沒有嚴(yán)格的左義，可以說就是許多利用高速聯(lián)接的，具有 高速運算能力的，具有單一用戶界面的計算機組合。這并不是集群的泄義，而是表而現(xiàn)象的 描述。集群中的節(jié)點需要硬件盡可能的一致，不一致的硬件集群稱為異構(gòu)集群，雖然這并不 能改變集群的特性，但是異構(gòu)導(dǎo)致集群會花費額外的時間來處理由于異構(gòu)帶來的延遲，另一 方而這也是集群的優(yōu)勢，任何苴他的多CPU系統(tǒng)都是嚴(yán)格要求CPU是一致的，集群就有足夠 的自由度增減節(jié)點，不受類型的限制。本文選擇M0SIX作為集群的方案，并使用無盤盯點。架構(gòu)集群并沒有想象中那樣復(fù)雜，參考 下而的步驟可以一步步的架構(gòu)集群，

4、整個的方案并不是很昂貴，而且便于擴展。使用RedHat 是因為在中國這是最有權(quán)威的版本，不論是初學(xué)者還是專業(yè)工作者，都可以在RedHat Linux 中左制自己的版本。使用終端服務(wù)器LTSP是因為結(jié)構(gòu)簡單，便于快速擴展。使用的硬件是可 以改進(jìn)的，比如使用雙CPU的主板和至強處理器，這樣單一機柜中處理器就密集到48塊CPU, 本例中可以使用24塊CPU。除了 CPU以外，還可以使用千兆網(wǎng)卡或光纖網(wǎng)卡，交換機可以使 用光纖交換機，內(nèi)存總數(shù)可以達(dá)到48GB。但是隨著硬件的升級，整體價格就會過高，而性能 的提升并不是按比例的，因此本例的配置是性價比較好的組合。M0SIX是利用給內(nèi)核源代碼 加補丁的辦法

5、，增加內(nèi)核的功能來達(dá)到內(nèi)核級的集群支持，通過編譯后的內(nèi)核啟動的系統(tǒng)間 類似SMP多處理器的系統(tǒng)，從外而的角度看只有一臺有很多處理器的龐大機器，但是內(nèi)部是 用很多機器架構(gòu)成的。而M0SIX集群的特點是對用戶透明，原有的應(yīng)用程序不需要修改代碼 即可以在集群中分布計算。有幾種情況是不需要使用集群系統(tǒng)的，使用類似網(wǎng)格汁算的腳本就可以完成訃算，比如三維 動畫的渲染，這類訃算可以使用不同的節(jié)點，不需要對稱的硬件，不需要一致的操作系統(tǒng)（需 要應(yīng)用具有支持不同操作系統(tǒng)的版本），只需要按照處理器來分割渲染的任務(wù)段，在每個節(jié)點 上運行相應(yīng)的任務(wù)段，然后合成所有節(jié)點的汁算結(jié)果。因為計算數(shù)據(jù)是離散的（結(jié)果的連續(xù) 是視

6、覺的連續(xù)），因此用類似網(wǎng)格訃算的腳本也可以完成。這類il算不需要使用集群也可以完 成。下而本文將告訴你如何準(zhǔn)備硬件和軟機環(huán)境。首先是規(guī)劃你的汁算環(huán)境。規(guī)劃計算環(huán)境硬件壞境：1.49U標(biāo)準(zhǔn)機柜，安裝1U的交換機，24臺2U機架式機箱。2. 1U的24 口 100MB交換機（不是集線器）3. Intel P4 2GHz CPU, 1GB DDR, Intel 845D 主板，軟驅(qū),NVIDIA 顯卡（能啟動 X Windows 就可以），2U機架式機箱,3C905B 10/100MB自適應(yīng)網(wǎng)卡，網(wǎng)關(guān)需要配置光驅(qū),80GB硬盤和 雙網(wǎng)卡。4. 5類線，按照693A壓3米網(wǎng)線24根。5. 顯示器，鍵盤

7、，鼠標(biāo)僅在安裝時使用。軟件壞境和必要的安裝包（除特殊說明外，髙版本不一泄適用）：1. Redhat 7. 2 CD1 和 CD2 安裝光盤2. dhcp-3. 0. Irc9-1. i386. rpm是支持啟動內(nèi)核調(diào)用的DHCP版本3. dhcpcd-1. 3. 22pll-7. 1386. rpm 是 DHCPD 守護(hù)進(jìn)程4. mknbi-1. 2-6. noarch, rpm是制作客戶端啟動內(nèi)核的必要軟件包5. M0SIX-1. 6. 0. tar. gz是原始的M0SIX文件，最新的版本是1. 7. 06. M0SKRN-1. 6. 0. tar. gz是原始M0SIX內(nèi)核文件，最新的版

8、本是1. 7. 07. openmosix-kernel-2. 4. 18-openmosix2. 1386. rpm 是 MOSIX 分支版本的通用內(nèi)核，最新的 版本是2. 4. 198. openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 是 MOSIX 分支版本的新處理器內(nèi)核，最 新的版本是2.4. 199. openmosix-kernel-smp-2. 4. 18-openmosix2. i686. rpm是MOSIX分支版本的多處理器內(nèi)核， 最新的版本是24. 1910. openmosix-kernel-2. 4. 18-openmos

9、ix2. src. rpm 是 MOSIX 分支版本的源代碼11. openmosix-tools-0. 2. 2-1. i386. rpm 是 MOSIX 分支版本的客戶端工具12. ltsp_core-3. 0-11. i386. rpm 是 LTSP 的核心文件13. ltsp_kernel-3. 0-3. i386. rpm 是 LTSP 的內(nèi)核14. ltsp_floppyd-3. 0. 0-2. i386. rpm 是 LTSP 的軟盤工具15. ltsp_initrd_kit-3. 0. l-i386. tgz 是 LTSP 的啟動制作工具16. linux_kernel-2.

10、4. 18. tar. gz是需要編譯的內(nèi)核源碼網(wǎng)絡(luò)配置環(huán)境：1. 網(wǎng)關(guān)對外網(wǎng)卡配置10. 193. 15. 169,子網(wǎng)掩碼255. 255. 255. 0給內(nèi)部網(wǎng)使用,用于登錄和 提交進(jìn)程。2. 網(wǎng)關(guān)對內(nèi)網(wǎng)卡配置192. 168. 0. 254,子網(wǎng)掩碼255.255. 255.0,網(wǎng)關(guān)為10. 193. 15. 169給 集群用于DHCP服務(wù)器，NFS服務(wù)器，LTSP服務(wù)器。3. 網(wǎng)關(guān)對內(nèi)網(wǎng)卡配苣DHCP,分配地址從192. 168. 0. 100到192. 168.0. 253,子網(wǎng)掩碼 255. 255. 255.0,都是 C 類。當(dāng)以上條件都具備時，可以開始架構(gòu)MOSIX集群。1.

11、 安裝所有硬件，并能確保可以從光盤啟動網(wǎng)關(guān)服務(wù)器系統(tǒng)，節(jié)點可以使用軟盤啟動，檢査 BIOS的啟動設(shè)置，并確認(rèn)可以正確啟動。將所有節(jié)點和交換機安裝到機柜上，用網(wǎng)線連接交 換機和各肖點，網(wǎng)關(guān)需要額外的網(wǎng)線連接到局域網(wǎng)，因為可以稱集群汁算環(huán)境為計算場 （Computing Farm）,因此對應(yīng)局域網(wǎng)稱集群系統(tǒng)的網(wǎng)絡(luò)為訃算網(wǎng)絡(luò)。連接好電源后，使用兩 套顯示器和鍵盤鼠標(biāo)，分別連接一臺節(jié)點機和網(wǎng)關(guān)服務(wù)器。安裝RedHat 7. 2版本在具有兩塊網(wǎng)卡的網(wǎng)關(guān)服務(wù)器上，分區(qū)使用自動分區(qū)（比較簡單，本文 不討論Linux其他問題），選擇立制安裝，但不要安裝所有的軟件包，除缺省的選擇外，需要 額外選擇軟件開發(fā)和內(nèi)核

12、開發(fā)兩組軟件包，安裝時沒有選擇的軟件包，可以在系統(tǒng)正常啟動 后參考"如何編譯內(nèi)核"中的軟件包來安裝。安裝到網(wǎng)絡(luò)配苣時，按照網(wǎng)絡(luò)環(huán)境配置IP地址, 需要配置DNS的需要修改對外網(wǎng)卡的設(shè)置，使用小寫mosix為主機需。安裝完后需要驗證網(wǎng) 關(guān)服務(wù)器可以正常啟動，按照個人喜好來設(shè)定系統(tǒng)，推薦使用文本模式，圖形模式資源消耗 較大。另外需要連接到RedHat網(wǎng)站升級有缺陷的軟件包，減少系統(tǒng)漏洞，注意別把內(nèi)核也升 級了，并不是因為本文的操作，而是內(nèi)核升級后，系統(tǒng)很可能啟動失敗，本文將自己編譯內(nèi) 核。升級完成后重啟，再次確認(rèn)系統(tǒng)沒有任何錯誤。3.安裝MOSIX包（openmosix的安裝是

13、另外的分支）需要很多步驟，注意操作步驟的準(zhǔn)確性：A, 將所有下載的軟件包上載到服務(wù)器的/usr/src/tmp目錄下，確認(rèn)下載的軟件包是完整的,確認(rèn)md5的校驗結(jié)果一致:su -cd /usr/src/makdir tmpmd5 packageB, 將RedHat 7.2 CD2放入到光驅(qū)。參考以下操作確認(rèn)編譯內(nèi)核需要的軟件包已經(jīng)存在：mount /dev/cdrom /mnt/cdromcd /mnt/redhat/RPMrpm -Uvh kerne1-headers*rpm -Uvh kernel-source*rpm -Uvh kernel-doc*rpm -Uvh dev86*rpm

14、-Uvh make-*rpm -Uvh glibc-devel*rpm -Uvh cpp*rpm -Uvh ncurses-devel*rpm -Uvh binutils*rpm -Uvh gcc-2*rpm -Uvh t /usr/srcumount /mnt/cdromC, 安裝需要的軟件包，展開所有的tar. gz軟件包：tar xvfz MOSIX-1. 6. 0. targz tar xvfz MOSKRN-1. 6. 0targz tar xvfz linux-2 4. 18. tar gzD, 如果展開文件沒有錯誤，將各個軟件展開目錄移到正確的位置：mv MOSIX-1. 6.

15、0 /usr/src/mv MOSKRN-1. 6. 0 /usr/src/ mv linux /usr/src/linux-2. 4. 18chmod goa+x /usr/src/MOSIX-1.6.0/inst/add_kernel_to_grub mkdir /usr/local/manF,下而才是真正有趣和讓人著迷的步驟，首先要創(chuàng)建編譯內(nèi)核配置文件的目錄，這是個好習(xí) 慣， 因為每次的編 cd /usr/src mkdir config, backuped /usr/src/linux-2 4 7-10/configsepkerne1-2 4 7-i686 config /usr/sr

16、e/config backup/kerne1-2 4 18. configcd /usr/src/cp config backup/kerne1一2 4 18.config linux-2 4 18/ configH,根據(jù)你的情況修改Makefiles的EXTRAVERSION部分，原值為18,可改為mosix來標(biāo)明編 譯后的內(nèi)核版本，cd /usr/src/linux-2. 4. 18vi Make = 18cd /usr/src/MOSIX-1 6. 0/mosix installJ，安裝開始后會有一些問題，除新內(nèi)核加入LILO或GRUB問回答為G以外的問題都用回車 使用缺省選擇(大寫的字

17、母為缺省值)。問題依次為內(nèi)核源代碼的路徑，新內(nèi)核的啟動選項添 加在那個啟動程序中，內(nèi)核所包含的庫文件連接，MOSIX服務(wù)的啟動級別，創(chuàng)建MFS裝載目 錄，啟動那種內(nèi)核編譯配置菜單，是否顯示內(nèi)核編譯詳細(xì)過程，是否顯示用戶級編譯詳細(xì)過 程。隨后系統(tǒng)開始給內(nèi)核源代碼加補丁，啟動內(nèi)核編譯配巻菜單。K,在內(nèi)核編譯配苣菜單中，你可以看到新增加的MOSIX選項。L, 選擇進(jìn)入MOSIX選項井添加直接文件系統(tǒng)訪問(Direct Access)和MOSIX文件系統(tǒng) (MOSIX ) o用ESC鍵推出當(dāng)前選單。M,添加塊設(shè)備(Block devices)的內(nèi)存虛擬盤的支持(RAM disk support)和使用

18、初始化 進(jìn)程初始化內(nèi)存虛擬盤(Initial RAM disk (initrd) support)兩項。N,在網(wǎng)絡(luò)選項(Networking options)中增加對IP內(nèi)核級自動配宜(IP: kernel level autoconfiguration), IP 動態(tài)地址支持(IP： DHCP support), IP 啟動地址綁泄支持(IP： BOOTP support)。O,建議除去SCSI的支持，本例中沒采用SCSI設(shè)備，并且可以避免內(nèi)核編譯失敗。建議除去 聲卡支持。P，在網(wǎng)絡(luò)文件系統(tǒng)(Network )中增加NFS支持根文件系統(tǒng)(Root on NFS)。Q，最后多按一次ESC鍵，提

19、示保存配置文件，選擇Yes。系統(tǒng)將開始編譯內(nèi)核，編譯模塊， 安裝內(nèi)核，安裝模塊。該過程可能會產(chǎn)生一些警告，只要編譯沒退岀，并正常完成回到提示 符狀態(tài)就完成了編譯。R，先不要忙于重啟，需要修改/boot/grub/grub, conf文件中MOSIX的內(nèi)核路徑一彳亍，原路 徑為/boot/vmlinuz-2. 4. 18-mosix,修改為/vmlinuz-2. 4. 18-mosiXo 修改完后鍵入 reboot 可以重新啟動。S,這時的啟動菜單中岀現(xiàn)Mosix 1.6.0 (2. 4. 18),選擇該項啟動MOSIX系統(tǒng)。T,系統(tǒng)啟動中會出現(xiàn)若干錯誤，圖中第一個是由于沒有創(chuàng)建/mfs引起的，

20、第二個是由于MOSIX 更改了 sshd服務(wù)的權(quán)限，而沒啟動另外的MOSIX的sshd引起的。第一次啟動MOSIX系統(tǒng)， 會要求配置mosix. map文件，回車選擇缺省的編輯器進(jìn)入編輯。U,配置文件修改完成后，系統(tǒng)會提示節(jié)點的IP地址有變化時需要修改mosix. map文件中的 節(jié)點號。因為網(wǎng)關(guān)服務(wù)器是192. 168. 0. 254因此定義為節(jié)點1,其他的節(jié)點從192. 168. 0. 1 開始共有253個節(jié)點，節(jié)點號從2開始。V, 進(jìn)入系統(tǒng)后，啟動MOSIX,顯示初始化MOSIX, MOSIX配置完成。service mosix start4因為MOSIX有另外的分支openmosix,

21、因為版權(quán)問題不同（后而將會介紹），openmosix 更開放一些，而且openmosix的安裝相對簡單，推薦沒有經(jīng)驗的初學(xué)者使用，下而是openmosix 的安裝和基' openmosix的客戸端配置。注意：MOSIX和openmosix雖然都是MOSIX原理卜 的軟件，但是互相是不能通訊的，因此一個集群系統(tǒng)里要統(tǒng)一使用一種平臺。openmosix是 使用rpm為安裝包的，事實上只是把編譯好的內(nèi)核直接掛接到系統(tǒng)里，并沒有經(jīng)過你自己的 編譯，對于初學(xué)者而言要方便許多。以下操作是在剛安裝完RedHat Linux 7. 2的系統(tǒng)上完成 的，除openmosix的軟件包外，不需要其他任何的軟

22、件包，缺省目錄在/usr/src/下?？筛鶕?jù) 情況安裝 SMP 版本，openmosix-kerne 1-2. 4. 18-openmosix2. i386. rpm 版本適合于所有 X86 體 系的處 理器，openmosix-kernel-2. 4. 18-openmosix2. 1686. rpm 版本適 合本例， openmosix-kernel-2 4. 18一openmosix2 src rpm 是包含 kernel-2 4 18 和 openmosix 內(nèi)核補 丁的源代碼。當(dāng)安裝完成后啟動時就可以看到openmosix的啟動項。cd /usr/src/rpm -Uvh openm

23、osix-kernel-24 18一openmosix2i686rpmrpm 一Uvh openmosix-kernel-2 4 18一openmosix2 src rpmrpm-Uvhopenmosix-tools-0 2 2一1 i386 rpmrpm -Uvh dhcp-3 0 lrc9一1 i386 rpmrpm 一Uvh dhcpcd-1 3 22pll一7 i386 rpmrpm -Uvh mknbi一12-6noarch.rpmrpm -Uvh ltsp_core-30-lli386.rpm rpm -Uvh ltsp_kernel-3 0一3 i386 rpm rpm -Uvh

24、 ltsp_floppyd-3 0. 0一2 i386 rpm rpm -Uvh ltsp_initrd_kit-30 l-i386tgz mv ltsp_initrd_kit /usr/src/6. 因為使用的是openmosixt你需要單獨展開的linux-2. 4. 18. tar. gz文件和openmosix的 補文件，需要將 openmosix 的補丁力II入，你在安裝 openmosix-kernel-2. 4. 18-openmosix2. src. rpm 時，源文件會存在于 /usr/src/redhat/SOURCES/目錄下，同時還有內(nèi)核補文件。cd /usr/src/

25、redhat/SOURCES/tar xvfz linux-24. 18. targzmv/usr/src/redhat/SOURCES/1inux /usr/src/1inux-24. 18一om27. 將內(nèi)核補丁文件展開并加入內(nèi)核源文件，并作編譯前準(zhǔn)備，將舊的內(nèi)核編譯中間結(jié)果清理 干凈：cp /usr/src/redhat/SOURCE/openMosix-24 18一2gz /usr/src/1inux-24 18一om2/gunzip /usr/src/1inux-2 4 18-om2/openMosix-2 4 18一2 gzcd /usr/src/1inux-2 4 18一om2p

26、atch -Npl < openMosix-2 4. 18一2make mrpropervi Make = -om2 cp /opt/ltsp/kernel-configs/config 2 4 9一ltsp一5 /usr/src/conf ig backup/cp/opt/ltsp/kernel-configs/config 2 4 9-ltsp一5 /usr/src/1inux-2 4 18一om2/ config10. 啟動內(nèi)核編譯配置菜單.注意選擇openmosix選項中的進(jìn)程遷移(process migration support) > 直接文件系統(tǒng)訪問(Direct A

27、ccess) openmosix 文件系統(tǒng)(OpenMosix ) 注意 不要選擇內(nèi)核調(diào)試(Kernel Debugger) o其他的配置根據(jù)具體需要，沒有SCSI硬盤可以去掉 SCSI選項，不需要聲卡，也可以去掉。make menuconfig11. 編譯內(nèi)核一般分為編譯庫(make dep),編譯啟動映象(make bzImage),編譯模塊(make modules)和安裝模塊(make modules_install) o系統(tǒng)可以連續(xù)完成幾步操作：make dep && make bzlmage && make modules && ma

28、ke modules_install12. 如果系統(tǒng)沒有提示錯誤并中止，將會顯示新的內(nèi)核映象的大小，模塊編譯完成并安裝等 信息。編譯完成的內(nèi)核將作為客戶端的內(nèi)核系統(tǒng)，因此需要將模塊復(fù)制到LTSP的目錄下：cp -R /lib/modules/24. 18一om2 /opt/ltsp/i386/lib/modules/13完成后將創(chuàng)建符合無盤啟動的系統(tǒng)，使用LTSP的初始化工具就可以完成，進(jìn)入 /usr/src/ltsp_initrd_kit 目 cd /usr/src/ltsp_initrd_kit/vi buildk# prepare_kernel /usr/src/1inux-2 4. 9

29、-ltsp2. 49一ltsp一5# prepare_kernel /usr/src/1inux-249-ltsp-lpp 2.4.9-ltsp-lpp-5 lppprepare_kerne1 /usr/src/1inux-24 18om2 2.4.18-om214. 修改完后運行buildk將會在/t下創(chuàng)建新的內(nèi)核啟動文件。/buildk15. cd /t -s vmlinuz-24 18-om2 vmlinuz一openmosix16. 修改/etc/dhcpd. conf文件，使動態(tài)地址分配支持新的啟動內(nèi)核。修改內(nèi)核啟動文件的 名稱和路徑,如果該文 cd /etc/vi dhcpd. c

30、onf "/lts/vmlinuz-openmosix"17. 隨后你可以添加自動分配主機名，這樣每臺客戶機啟動時自動生成主機斜，注意主機名 要和你的 hosts 文件對應(yīng) vi dhcpd .conf /lts/vmlinuz-openmosix'' option host-name =concat("node", binary-to-ascii( 10, 8,、substring (reverse ( 1, leased-address), 0, 1);chkconfig t dhcpd onservice dhcpd restart

31、service xinetd restartcd /etc/vi mosix. mapl 54 12 192.16& 0.1 253cp /etc/mosix. map /opt/ltsp/i386/etc/20. 復(fù)制openmosix的工具到客戶端的目錄中。cp /sbin/setpe/opt/ltsp/1386/sbin/cp/bin/mosrun /opt/ltsp/i386./bin/cp/bin/mosmon/opt/ltsp/i386/bin/cp /bin/mosctl /opt/ltsp/i386/bin/cp /bin/migrate /opt

32、/ltsp/i386/bin/21. 因為/opt/ltsp/1386目錄最后是客戶端的根文件系統(tǒng)，需要的工具都可以復(fù)制到相應(yīng)的 目錄中。因為/opt/ltsp/i386/etc/hosts文件是連接，因此需要先刪除后復(fù)制新文件。cp /bin/touch /opt/ltsp/i386/binrm -f /opt/ltsp/i386/etc/hostscp /etc/hosts /opt/ltsp/i386/etc/cp /etc/rc d,/init d/openmosix /opt/ltsp/i386/etc/rc openmosixmkdir /opt/ltsp/i386/mfs23.

33、修改客戶端文件系統(tǒng)配苣文件，加入mfs的配置：cd /opt/ltsp/i386/etcvi fstabnone /mfs mfs dfsa =10024. 修改客戶端啟動進(jìn)程腳本，加入啟動openmosix的配置，禁止客戶端提交集群訃算的設(shè) 置,和裝載/mfs文件系統(tǒng)的配置。vi /opt/11sp/i386/etc/rc1ocal# OpenMosix startup section# we don't want any terminal processes to migrateecho 1 > /proc/mosix/admin/lstay# start mosix/etc

34、/rcopenmosix start# mount mfs doesn't work when done earliermount /mfs# End OpenMosix Startup Section25. 配置完成后準(zhǔn)備軟盤制作以太啟網(wǎng)啟動盤。訪問網(wǎng)站，選擇網(wǎng)卡類型生成以太網(wǎng)啟動芯 片的映象，保存到Linux上，使用st生成啟動軟盤。本例中使用3C905B.放入一張空白三 吋軟盤。cat eb-5il. 0.7-3c905b-tpol00. lzdsk > /dev/fdO26. 修改LTSP客戶端啟動配宜文件/opt/ltsp/i386/etc/lts. conf,禁止啟動

35、X Windows, 修改參數(shù)X_USBMOl：SE_BUTTONS二3,即啟動文本界面。27. 確認(rèn)/etc/exports文件包含共享客戶端根文件系統(tǒng)和交換區(qū)內(nèi)容：more /etc/exports/opt/ltsp/i386192. 168. 0.0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s192. 168. 0. 0/255. 255. 255. 0 (rw, no_root_squash)28. 將以太啟動軟盤放入客戶端，開機并確認(rèn)正常啟動，正常獲得動態(tài)地址，加載內(nèi)核成功, 初始化腳本正常運行，主機需自動生成，op亡nmo

36、six正常初始化，沒有任何錯誤提示。29. 回到服務(wù)器，通過檢査/mfs文件系統(tǒng)來檢查mfs文件系統(tǒng)。30. 啟動mosmon監(jiān)控程序來檢查通訊是否有效，這是剛加入3個節(jié)點時，啟動setiathome 計算的狀態(tài)。將下載的應(yīng)用展開在/dw目錄下，注意命令的格式。mosrun -jl-3 /mfs/1/dw/setiathome1 -nolock31. 制作啟動盤，陸續(xù)加入廿點，MOSIX集群就創(chuàng)建完了。典型的配巻文件/etc/mosix map1 192. 168. 0. 254 12 192. 168. 0. 1 253/etc/dhcpd confdefault-lease-time 21

37、600;max-lease-time 21600;ddns-update-style none;allow booting;allow bootp;option subnet-mask ;option broadcast-address 192 168 0 255;option routers 192.168. 0. 254;option domain-name-servers 192 168.0254;option domain-name "mosix"option root-path "192.168. 0. 254:/opt/lts

38、p/i386"shared-network NODES subnet 192. 168. 0. 0 netmask 255. 255. 255. 0 range dynamic-bootp 192. 168. 0. 100 192. 168. 0. 253; use-host-decl-names on;option log-servers 192 168.0254;if substring (option vendor-class-identifier, 0, 9) = "PXEClient /z/lts/pxe/pxelinux bin"else/11s/vm

39、 1 inuz-2 4 18一mosix"option host-name = concat("node" , binary-to-ascii ( 10, 8,、 substring (reverse ( 1, leased-address), 0, 1);group use-host-decl-names on;option log-servers 192 168.0.254;host nodeOOl hardware ethernet 00:E0:06:E8:00:84;fixed-address 192.168. 0. 1;/lts/boot/bootp/v

40、mlinuz eeprol00. bootp"host node002 hardware ethernet 000:09:30:6A:1C;fixed-address 192.168.0. 2;/z/lts/boot/bootp/vmlinuz tulip bootp"host node003 hardware ethernet 000:09:30:28:B2;fixed-address 192.168.0. 3;# kernels are specified in /t/Its/boot/pxe/pxe 1 inux bin"/etc/exports/opt/l

41、tsp/i386 192. 168. 0. 0/255. 255. 255. 0(ro, no_root_squash)/var/opt/ltsp/s 192. 168. 0. 0/255. 255. 255. 0(rw, no_root_squash)/etc/hosts 和 /opt/ltsp/i386/etc/hosts192. 168. 0. 254 mosix192. 168. 0. 1 nodeOOl192. 168. 0. 2 node002192. 168. 0. 3 node003192. 168. 0. 4 node004省略一部分192. 168. 0. 253 node

42、253127 0.0 1 localhostlocaldomain localhost/opt/ltsp/i386/etc/fstabnone /mfs mfs dfsa=l 0 0/opt/ltsp/i386/etc/lts confDefaultSERVER = 192. 168. 0. 254XSERVER = offX.MOUSE.PROTOCOL = "PS/2"X.MOUSE.DEVICE = "/dev/psaux"X.MOUSE.RESOLUTION 二 400X.MOUSE.BUTTONS = 3X_USBMOUSE_PROTOCOL=

43、 "PS/2"X_USBMOUSE_DEVICE 二"/dev/input/mice"X.USBMOUSE.RESOLUTION = 400X_USBMOUSE_BUTTONS 二 3USE.XFS = NLOCAL.APPS = NRUNLEVEL = 3SOUND = YVOLUME = 75常見問題和解決方法內(nèi)核編譯失敗怎么辦？編譯內(nèi)核是MOSIX集群的最大操作，對于沒有編譯過內(nèi)核的人會遇到很多編譯失敗的問題。對于經(jīng)常岀現(xiàn)的問題和解決辦法如下：編譯失敗在SCSI設(shè)備時，如果沒有SCSI設(shè)備，在編譯配置菜單中除去SCSI選項。編譯失敗在SiS芯片時，

44、如果沒使用SiS芯片組的主板，在編譯菜單中除去SiS芯片支持選 項。更改編譯文件后仍然編譯失敗時，注意將上一次編譯的中間文件淸理干凈使用如下命令(不 要忘記備份.config文件)：cd /usr/src/1inux-2 4. 18一om2cp config/usr/src/conf ig backup/config-newkernelmake mrproperDHCP為什么不能正確讀取配置文件？確認(rèn)你的DHCP版本要3. 0. 1以上，可以到RedHat的網(wǎng)站上下載。另外檢查/etc/dhcpd. conf 文件配置是否有錯誤，可以參考本例的文件。配置完啟動時出現(xiàn)sshd加載失敗時怎么辦？該

45、情況出現(xiàn)在M0SIX修改sshd的屬性后出現(xiàn)，你可以加載M0SIX的ssd守護(hù)進(jìn)程，操作如下:chkconfig sshdpre-mosix onservice sshdpre-mosix start首次啟動MOSIX時提示Host name lookup failure是什么原因？這是由于/etc/hosts文件沒有正確標(biāo)出主機需對應(yīng)的地址造成的，修改/etc/hosts文件正確 就可以。首次啟動M0SIX時提示以下錯誤是什么原因？setpe： the supplied table is well-formatted,but my IP address () is not

46、there!這是由于RedHat Linux的host文件缺省只有127. 0. 0. 1對應(yīng)主機名，可以將/etc/hosts 文件中的127. 0. 0. 1 mosix localhost分開描述:vi /etc/hostsl92. 168. 0. 254 mosixl27. 0. 0. 1 localhost制作LTSP啟動內(nèi)核映象失敗注意使用的LTSP初始化工具是ltsp_initrd_kit-3. 0. 1-1386. tgz版本，英他的版本因為修 改了初始化腳本，目前沒有方法可以初始化成功。另外制作啟動內(nèi)核映象時必須有mknbi-1. 2-6. noarch, rpm包，從Red

47、Hat的網(wǎng)站上可以卜載 最新的版本。配置ltsp客戶端DHCP啟動失敗 檢查/etc/dhcpd. conf文件指向的啟動內(nèi)核路徑正確，確認(rèn)物理連接正確，確認(rèn)軟盤未損壞, 確認(rèn)LTSP內(nèi)核啟動文件正常編譯。確認(rèn)安裝并啟動了 tftp守護(hù)進(jìn)程，確認(rèn)/etc/exports文 件共享了正確的客戶端根文件系統(tǒng)路徑。配置ltsp客戶端啟動X Windows失敗如果需要在客戶端啟動X Windows,需要安裝LTSP的X包，并根據(jù)顯示卡的不同安裝不同的 X服務(wù)器版本。rpm -Uvh ltsp_x_core3. 0. IT. i386. rpmrpm -Uvh ltsp_x_fonts3. 0. 0-0

48、. i386. rpm下載連接是：如果并不需要啟動X Windws ,需要修改/opt/ltsp/i386/etc/lts. conf文件中 X_USBMOUSE_BUTTONS = 3即可啟動文本界面。LTSP客戶端啟動后找不到主機爼或不能解析主機爼確認(rèn)/opt/11sp/i386/hosts文件不是符號連接，并且和/etc/hosts文件一致，確認(rèn) /etc/dhcpd. conf文件中加入自動生成主機名配宜，確認(rèn)生成的主機名與hosts文件中的一 致。LTSP客戶端啟動后不能啟動mosix確認(rèn)/etc/mosix. map 和/opt/ltsp/1386/etc/mosix. map 文

49、件一致。啟動mosix后沒找到mfs目錄手動創(chuàng)建/mfs目錄：mkdir /mfsmkdir /opt/ltsp/i386/mfs背景資料：相關(guān)名詞SMP：對稱多處理器LTSP： Linux 終端服務(wù)器項目(Linux Terminal Server Project)Kernel：內(nèi)核Ramdisk：內(nèi)存虛擬盤Etherboot：以太啟動Bootrom：網(wǎng)卡啟動芯片大型主機(Mainframes),超級汁算機(Supercomputers)和集群(Clusters)縱觀汁算機的歷史，最先讓人了解的就是大型主機和超級計算機，這是計算機歷史的一部分, 沒有這些大家伙，就沒有今天的個人電腦。這些大家

50、伙通常是一個或幾個有強大研發(fā)隊伍和 資金的廠商完成，最初的目的是軍方或政府的需要，很多大學(xué)的研發(fā)也促成了這些大家伙更 強大。一般情況下，大型主機和超級計算機都使用超過8個，多達(dá)上百個的CPU和自己的專 用操作系統(tǒng)，計算機歷史上很多的重要成員都和這些大家伙有關(guān)，IBH, DEC, Cray, SGI, HAL。 大型主機已經(jīng)成為歷史，而超級計算機成了各國技術(shù)實力的爭奪焦點，但是目前個人電腦的 發(fā)展使集群成為競爭超級il算機的強大對手，集群的CPU數(shù)和浮點能力和超級計算機的差距 已經(jīng)越來越近。 Cluster集群系統(tǒng)，也有成為機群和群集系統(tǒng)的。集群主要分為三類：容錯集群(Fail-over Clu

51、ster), 負(fù)載均衡集群(Load balancing Cluster),高性能計算集群(High Performance Computing)。容錯集群是指兩臺主機通過兩個或兩個以上網(wǎng)路連接的系統(tǒng)，苴中一個連接稱為心跳線 (heartbeat),利用每臺主機上的服務(wù)進(jìn)程監(jiān)控對方主機的狀態(tài)，一旦發(fā)現(xiàn)對方主機宕機或 出現(xiàn)不能正常工作的情況，心跳線會反映給互為備份的另外一臺主機，該主機則會接替出問 題的主機。典型的使用場景是空軍的雷達(dá)追蹤系統(tǒng)。負(fù)載均衡集群一般用于相應(yīng)網(wǎng)絡(luò)請求的網(wǎng)頁服務(wù)器，代理服務(wù)器。這種集群可以在接到請求 時，檢査接受請求較少，不繁忙的服務(wù)器，并把請求轉(zhuǎn)到這些服務(wù)器上。從檢查其

52、他服務(wù)器 狀態(tài)這一點上看，負(fù)載均衡和容錯集群很接近，不同之處是數(shù)量上更多。髙性能汁算集群是指具有響應(yīng)大量計算的性能，可以作為數(shù)據(jù)中心使用的汁算機的集合。比 如壓縮mp3,氣象云圖的分析等。集群模式(N)UMA非一致性內(nèi)存訪問(Non-)Uniform Memory Access 一般是指通過執(zhí)行特殊的程序代碼 對內(nèi)存的共享訪問。在Linux內(nèi)核中，可以執(zhí)行對訪問時間內(nèi)的不同內(nèi)存區(qū)域進(jìn)行交叉訪問， 也就是內(nèi)核進(jìn)程可以使用接近CPU使用時的內(nèi)存。對正在使用內(nèi)存區(qū)域的訪問，才可以共享。 線性的內(nèi)存訪問是無法共享的。PVM/MPI 是指并行虛擬機(Parallel Virrual Machine)和信

53、息傳遞界而(Message Passing Interface) o在Beowlf的世界里最常提到的就是這兩個槪念，該軟件包已經(jīng)提供了多平臺 的版本。通過開放式的標(biāo)準(zhǔn)信息傳遞庫，并行機之間可以通訊，事實上PVM也是一組庫，程 序可以使用這些編譯庫來改造程序適應(yīng)并行系統(tǒng)。但是這些都要相應(yīng)的修改源程序，系統(tǒng)內(nèi) 核事實上并沒有發(fā)生改變。他模式：Turbo Linux EnFuzion. Platform等網(wǎng)格計算（Grid Computing）不必討論這類集 群不是單純意義的集群，以Enfuzion為例，EnFuzion是Turbo Linux收購的一個軟件改良 版（前身就叫Cluster）,因為使

54、用了 Java,可以跨平臺，使用駐留系統(tǒng)服務(wù)來監(jiān)控集群間的 通訊，事實上是任務(wù)分發(fā)和監(jiān)控器，依賴于計算數(shù)拯離散性，對于數(shù)據(jù)不可分的程序，無能 為力。也就是說每個肖點都運行相同的程序，但處理的數(shù)據(jù)是不同的，該集群提供了控制這 些程序的界而，跨平臺性也只是依賴于計算的應(yīng)用有跨平臺版本，而英只提供跨平臺的監(jiān)控。 主要集中在CPU空閑的監(jiān)控和計算的再分配。數(shù)據(jù)可分和程序可分集群汁算中最重要的就是分布，根據(jù)不同的應(yīng)用，分為兩種：數(shù)據(jù)可分和程序可分。數(shù)據(jù)可分是指數(shù)據(jù)間沒有必然聯(lián)系或聯(lián)系在結(jié)果的基礎(chǔ)上，比如mp3的壓縮，每個單獨的mp3 互不關(guān)聯(lián)，或者有限元汁算的某個步驟，單一的曲而汁算生成結(jié)果再參加后面的

55、關(guān)聯(lián)計算， 更著名的是SETIhome通過分析射電望遠(yuǎn)鏡的信號尋找外星人，這是典型的將中間分析結(jié)果 傳遞給下一部分析，這就是數(shù)據(jù)可分，這最適合網(wǎng)格計算。程序可分，用過ANSYS的人都知道商業(yè)軟件分為單處理器和多處理器版本，因為汁算量大， 所以支持SMP的訃算軟件和使用單一 CPU的軟件是不同的，多CPU共同運算時也要考慮到內(nèi) 存的訪問，處理通訊和負(fù)載均衡，除非操作系統(tǒng)支持，不然使用DOS和Windows9x很難用到 第二個CPU （甚至不可見），有了操作系統(tǒng)的支持，應(yīng)用程序也要支持，即使操作系統(tǒng)支持并 行，應(yīng)用程序不可分的話，只能使用1/n （n二CPU數(shù)量）的處理能力，典型的例子就是2CPU

56、 的WindowsNT/2000下使用單處理器版本的ANSYS,處理器進(jìn)程顯示50%但是2CPU共同生效。 而使用多處理器版本時，2CPU都可以在98%的使用率。因此程序可分是集群重要的應(yīng)用基礎(chǔ)， 即使程序本身不可分，而集群支持子進(jìn)程的遷移，也意味著類似SMP系統(tǒng)支持程序可分。 SETIhome在家尋找外星人訃劃，這是NASA全球計劃之一，位于波多黎各西北的一個火山口中垂直對天 的射電望遠(yuǎn)鏡Arecibo（007黃金眼中最后決戰(zhàn)的地點和X-files第二部第一集中收到外星人 電波的天線，直徑305米，接收器髙約30米，約位于130米高處），用于收集來自宇宙的無 線電信號，就像TCP/IP網(wǎng)中的

57、sniffer,這是宇宙中的一個嗅探器，通過收集信號，來分析 由智蔥生物發(fā)出的，有一定規(guī)律的無線電。比如，第一臺電視的信號和貓王歌曲在多年前通 過收音機發(fā)送的無線電信號，至今還在宇宙中遨游，雖然可能很微弱了，但是還可以接收到。 這個計劃就是接受類似外星人的無線電信號，具體的步驟是讓個人電腦的用戶下載客戶端程 序，一個屏幕保護(hù)程序，或一個命令行程序，然后在連接互聯(lián)網(wǎng)時下載大約330KB的數(shù)據(jù)包, 然后利用處理器空閑時間計算。該數(shù)據(jù)包只是龐雜數(shù)據(jù)中的一小部分，但是全球目前加入的 上億臺計算機就構(gòu)成了最大的超級汁算機，當(dāng)計算完成后，在連接互聯(lián)網(wǎng)時上載結(jié)果，并下 載新的數(shù)據(jù)包，根據(jù)其目前的計算形式，I

58、ntel稱為P2P計算，英實是網(wǎng)格計算的一種。上 載的數(shù)據(jù)不是最終數(shù)據(jù)，經(jīng)過和其他人加工的數(shù)據(jù)整合，會產(chǎn)生新的結(jié)果，這時可能要繼續(xù) 計算，也可能就此產(chǎn)生階段報告，每天SETIhome的主頁上都會有新的成果，當(dāng)然不一左是 發(fā)現(xiàn)外星人的報告。筆者的成績因為借助了自己設(shè)計的網(wǎng)格計算，全球4055845位排1787 名左右，還在向前靠攏，大約是完成了 23096個數(shù)據(jù)包。波多黎各一個火山口中的Arecibo射電望遠(yuǎn)鏡記得那個著劃的007鏡頭嗎？相關(guān)連接：SETIShome 的主頁：筆者的成績：openMosix小組的成績：波多黎各Arecibo射電望遠(yuǎn)鏡：需要強大計算的應(yīng)用財務(wù)與社會行為分析，使用數(shù)學(xué)模型模擬的計算。音樂，圖象等多媒體數(shù)拯處理，例如mp3壓縮，動畫渲染，后期處理。