大型網站技術架構方案

大型網站技術架構方案

2021年9月目錄大型網站架構的目標與挑戰(zhàn)網站架構各子系統(tǒng)介紹網站監(jiān)控系統(tǒng)討論及總結大型網站架構的目標與挑戰(zhàn)〔1〕定義：IDtN〔Idon’tknow,沒有統(tǒng)一標準?！砅V>1M網站內容“動態(tài)〞大型網站架構的目標與挑戰(zhàn)〔2〕每個目標背后面臨著技術、設計、維護等諸多方面的挑戰(zhàn)。而目標本身的期望值也會根據實際情況進行調整，這也意味著網站架構建設是個不斷調整的過程負載均衡數據備份異地容災。。。高速緩存并行計算異地鏡像。。。開發(fā)框架多層設計業(yè)務分割。。。目錄大型網站架構的目標與挑戰(zhàn)網站架構各子系統(tǒng)介紹網站監(jiān)控系統(tǒng)討論及總結網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)一個典型的大型網站架構圖Web前端系統(tǒng)Web動、靜別離CDN、GAD瀏覽器緩存:Header參數HTTP1.1協議+GET、-POSTContent-Encoding、gzip+Cookie、-Sessions,AJAXPLUGINHTML5能夠讓瀏覽器緩存的數據一定要緩存；瀏覽器能夠處理的運算，決不放在效勞器端來處理。網站架構各子系統(tǒng)Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)負載均衡系統(tǒng)大型網站解決高負荷訪問和大量并發(fā)請求采用的終極解決方法負載均衡系統(tǒng):NginxHttpserverReverseProxyMailserverLBserver:>50,000connectionBugfree7*24Easytoupgrade…網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)數據庫集群系統(tǒng)整個網站體系的高可靠性保證數據庫集群系統(tǒng)：Mysql

數據庫效勞器和應用效勞器別離讀寫別離主從同步、備份機制讀、寫數據庫集群從數據庫負載均衡:BigIP網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)緩存系統(tǒng)緩存分為文件緩存、內存緩存、數據庫緩存。在大型Web應用中使用最多且效率最高的是內存緩存緩存系統(tǒng)數據庫緩存QueryCacheDataBufferAppservercache前端頁面緩存采用具備緩存功能的反向代理效勞器作前端頁面緩存器，Varnish\Squid\Ncache\AiCache(商業(yè))…【硬件F5】網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)分布式存儲系統(tǒng)存儲量很大：相冊、視頻負載均衡cluster中的每個節(jié)點操作的數據從邏輯上看只能是一個整體，不是各自獨立的數據資源分布式存儲系統(tǒng):FastDfs開源的輕量級分布式文件系統(tǒng)文件存儲、文件同步、文件訪問動態(tài)添加，方便擴充網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)分布式效勞器管理系統(tǒng)目標：集中式的、分組的、批量的、自動化的對效勞器進行管理，能夠批量化的執(zhí)行方案任務高效的實現大規(guī)模的效勞器集群管理分布式效勞器管理系統(tǒng)：Cfengine執(zhí)行基于策略的配置管理完成后期安裝任務，例如配置網絡界面信息；編輯系統(tǒng)配置文件以及其它文件；管理系統(tǒng)效勞器進程；檢驗、更正文件許可及所有權；刪除無用文件、壓縮被選文件、在網絡中分發(fā)文件；自動掛載NFS文件系統(tǒng)；檢查重要文件和文件系統(tǒng)是否存在及其完整性。執(zhí)行命令及腳本。應用平安相關的補丁以及相似系統(tǒng)的修正。。。。網站架構各子系統(tǒng)介紹Web前端系統(tǒng)負載均衡系統(tǒng)數據庫集群系統(tǒng)緩存系統(tǒng)分布式存儲系統(tǒng)分布式效勞器管理系統(tǒng)代碼分發(fā)系統(tǒng)代碼分發(fā)系統(tǒng)開發(fā)環(huán)境

內測環(huán)境

公測環(huán)境

生產環(huán)境源代碼管理和版本控制代碼分發(fā)系統(tǒng):SVN+RsyncSVN:管理方便，邏輯明確，符合一般人思維習慣；易于管理，集中式效勞器更能保證平安性；代碼一致性非常高，更新速度快；適合開發(fā)人數不多的工程開發(fā)；學習本錢低，快速上手Rsync(remotesync)可以鏡像保存整個目錄樹和文件系統(tǒng)；可以很容易做到保持原來文件的權限、時間、軟硬鏈接等等；無須特殊權限即可安裝;快速、平安、支持匿名傳輸，以方便進行網站鏡象。目錄大型網站架構的目標與挑戰(zhàn)網站架構各子系統(tǒng)介紹網站監(jiān)控系統(tǒng)討論及總結網站監(jiān)控系統(tǒng)Nagios(實時)Munin(趨勢)Drraw(會聚)目錄大型網站架構的目標與挑戰(zhàn)網站架構各子系統(tǒng)介紹網站監(jiān)控