樊文飛-YashanDB 中國(guó)軟件自強(qiáng)自立自信

YashanDB深圳計(jì)算科學(xué)研究院&崖山科技軟件行業(yè)現(xiàn)狀?中國(guó)上市軟件公司的總體利潤(rùn)已連續(xù)3年下滑！?2024年上半年同比下滑了91.62%！439.440002021年中報(bào)2021年年報(bào)2022年中報(bào)2022年年報(bào)2023年中報(bào)2023年年報(bào)2024年中報(bào)軟件行業(yè)代表一個(gè)國(guó)家的軟實(shí)力中美軟件公司差異巨大美國(guó)軟件行業(yè)類公司營(yíng)收序號(hào)公司名市值2023年?duì)I收凈利潤(rùn)1Oracle3891億499.54億85.03億2Microsoft33219億2199.15億723.61億3Amazon20110億5747.85億304.25億美國(guó)傳統(tǒng)行業(yè)類公司營(yíng)收序號(hào)公司名行業(yè)市值2023年?duì)I收凈利潤(rùn)1SaudiAramco石油17859億4408.8億1213億2Toyota汽車2761.80億2741.66億180.89億3GENERAL ELECTRIC電氣1740.1億679.55億90.66億4Walmart(沃爾瑪)零售5446.28億6112.89億116.8億中國(guó)軟件行業(yè)類公司營(yíng)收序號(hào)公司名市值2023年?duì)I收凈利潤(rùn)1金山辦公144.65億6.30億2科大訊飛136.62億17.43億0.78億3寶信軟件126.73億17.85億3.53億??幾家軟件巨頭市值超萬億美元，遠(yuǎn)遠(yuǎn)超過G20國(guó)家中巴西、澳大利亞、土耳其、南非等國(guó)GDP?軟件行業(yè)頭部科技公司已超越傳統(tǒng)行業(yè)龍頭，一躍成為全球最有價(jià)值的公司之一數(shù)據(jù)來源：金十?dāng)?shù)據(jù)/百度股市通/新浪財(cái)經(jīng)，2024年6月30日（單位：美元）軟件是數(shù)字經(jīng)濟(jì)的重要組成中美軟件企業(yè)對(duì)比，四年差距拉大30余倍四年前四年后差額變大差額變大ss+-++-+單位：美元；2020年4月27日、2024年6月30日數(shù)據(jù)"中國(guó)軟件陷于至暗時(shí)刻"軟件產(chǎn)業(yè)兩大根基：一是基礎(chǔ)軟件，一是專業(yè)服務(wù)附加值軟件產(chǎn)業(yè)smilingcurve?基礎(chǔ)使能vs.項(xiàng)目應(yīng)用；附加值軟件產(chǎn)業(yè)smilingcurve?基礎(chǔ)使能vs.項(xiàng)目應(yīng)用；技術(shù)專利?基礎(chǔ)軟件?咨詢服務(wù)?解決方案?高端軟件外包?低端軟件外包基礎(chǔ)軟件特征產(chǎn)品模式增值服務(wù)模式代工/項(xiàng)目模式產(chǎn)品模式增值服務(wù)模式代工/項(xiàng)目模式上游下游 亟待自強(qiáng):創(chuàng)新,標(biāo)準(zhǔn)化,基礎(chǔ)軟件現(xiàn)在禁芯片；如果以后禁（開源）軟件呢？軟件領(lǐng)域被歐美長(zhǎng)期主導(dǎo)2020年全球基礎(chǔ)軟件領(lǐng)域市場(chǎng)份額美國(guó)基礎(chǔ)軟件業(yè)務(wù)收入占全球4/510數(shù)據(jù)來源：中國(guó)軟協(xié)2023年數(shù)字經(jīng)濟(jì)占GDP比重?cái)?shù)字經(jīng)濟(jì)成為國(guó)家經(jīng)濟(jì)發(fā)展的發(fā)動(dòng)機(jī)，數(shù)據(jù)庫(kù)是數(shù)據(jù)產(chǎn)業(yè)化的組成，也是產(chǎn)業(yè)數(shù)數(shù)字產(chǎn)業(yè)化(軟件、電信等)數(shù)字產(chǎn)業(yè)化(軟件、電信等)產(chǎn)業(yè)數(shù)字化81.3%數(shù)字經(jīng)濟(jì)42.8%中國(guó)信通院《中國(guó)數(shù)字經(jīng)濟(jì)發(fā)展研究報(bào)告（2024年）》中國(guó)軟件行業(yè)任重道遠(yuǎn)國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展歷程?以往國(guó)產(chǎn)數(shù)據(jù)庫(kù)系統(tǒng)：歷經(jīng)三代發(fā)展，沒有能夠真正替代Oracle的產(chǎn)品?Oracle代碼負(fù)擔(dān)無法及時(shí)應(yīng)對(duì)的大數(shù)據(jù)分析挑戰(zhàn)第二代第三代傳統(tǒng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)適合信創(chuàng)的小規(guī)模應(yīng)用第二代第三代傳統(tǒng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)適合信創(chuàng)的小規(guī)模應(yīng)用開源增強(qiáng)的分布式數(shù)據(jù)庫(kù)自研的分布式數(shù)據(jù)庫(kù)適合金融企業(yè)互聯(lián)網(wǎng)場(chǎng)景成本高適合互聯(lián)網(wǎng)企業(yè)的新應(yīng)用性能的40%2020年中國(guó)信通院：對(duì)國(guó)內(nèi)分布式事務(wù)數(shù)據(jù)庫(kù)產(chǎn)品進(jìn)行了分析，發(fā)現(xiàn)：71.4%的產(chǎn)品是基于PostgreSQL或MySQL二次開發(fā)完成中國(guó)人有沒有能力研發(fā)國(guó)際一流的基礎(chǔ)軟件?開源底層機(jī)制存在缺陷穩(wěn)定可靠MySQL考慮性能采用半同步實(shí)現(xiàn)復(fù)制，因此在主機(jī)故障時(shí)，無法保證數(shù)據(jù)不丟。近期某銀行遇到大壓力下同步復(fù)制，主機(jī)擁塞問題。PG追加寫機(jī)制，在高頻更新下容易卡頓性能針對(duì)大并發(fā)訪問，MySQL行級(jí)鎖機(jī)制較為受限，表級(jí)鎖容易形成熱點(diǎn)。復(fù)雜查詢所依賴于優(yōu)化器能力，也是MySQL的短板。單機(jī)容量當(dāng)前單機(jī)存儲(chǔ)容量達(dá)到10TB級(jí)別已是常態(tài)。MySQL受限于底層Btree組織，單表數(shù)據(jù)量不宜超過千萬級(jí)，無法滿足業(yè)務(wù)擴(kuò)展要求。設(shè)計(jì)圖公開的金庫(kù)安全風(fēng)險(xiǎn)明顯大于未公開的設(shè)計(jì)圖公開的金庫(kù)安全風(fēng)險(xiǎn)明顯大于未公開的：線。Oracle源代碼在其中國(guó)辦公室無法訪問。開源差距較大,無法應(yīng)對(duì)大壓力挑戰(zhàn)分布式路線的嘗試2硬件采購(gòu)2日常維護(hù)未形成成熟的服務(wù)生態(tài)，需要重新學(xué)習(xí)對(duì)日常維護(hù)未形成成熟的服務(wù)生態(tài)，需要重新學(xué)習(xí)對(duì)應(yīng)產(chǎn)品能力，DBA新增人力成本較高1133應(yīng)用改造分布式改造引入大量適配工作，部分產(chǎn)品不支持存儲(chǔ)過程等能力，改造費(fèi)用遠(yuǎn)超數(shù)據(jù)庫(kù)分布式架構(gòu)并非銀彈分布式架構(gòu)源于互聯(lián)網(wǎng)，而銀行與互聯(lián)網(wǎng)的基礎(chǔ)需求存在一定差異，理清銀行基礎(chǔ)需求再進(jìn)行架構(gòu)設(shè)計(jì)是新一代分布式核心的建設(shè)基石核心訴求：承載量核心訴求：承載量核心訴求：穩(wěn)定安全分布式改造成本高,難維護(hù)信創(chuàng)的挑戰(zhàn)2027年信創(chuàng)市場(chǎng)規(guī)模約為1.56萬億2021年信創(chuàng)滲透率2027年信創(chuàng)滲透率20222021年信創(chuàng)滲透率2027年信創(chuàng)滲透率2022人員增速2023人員增速2024人員增速行業(yè)人員數(shù)（萬人）黨政40003.00%3.00%2.50%57.01%90%金融4.00%4.00%3.00%29.55%80%電信0.45%0.45%0.40%19.00%80%電力2640.50%0.50%0.45%15.00%75%石油0.50%0.50%0.45%16.00%70%交通0.20%0.20%0.15%18.00%75%航天航空5.00%5.00%4.00%12.00%75%教育0.50%0.50%0.45%10.45%70%4294.00%4.00%3.00%8.00%70%銀行核心系統(tǒng)中,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的運(yùn)用比例僅為10%～20%行業(yè)自主化率應(yīng)用場(chǎng)景金融銀行15%證券基金20%金融核心業(yè)務(wù)系統(tǒng)、支付系統(tǒng)、交易系統(tǒng)能源不足15%能源監(jiān)管、調(diào)度、規(guī)劃、運(yùn)維醫(yī)療不足5%電子病歷、診斷、設(shè)備、數(shù)據(jù)挖掘制造不足5%客戶管理、生產(chǎn)處理、庫(kù)存和供應(yīng)鏈第一新聲《2024年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)研究報(bào)告》各行業(yè)核心替代任重道遠(yuǎn)Oracle50年歷程：15年成為龍頭、35年領(lǐng)跑世界技術(shù)領(lǐng)跑的系統(tǒng)研發(fā)政府引導(dǎo)市場(chǎng);技術(shù)領(lǐng)跑的系統(tǒng)研發(fā)政府引導(dǎo)市場(chǎng);(SQL、C/S分離架構(gòu)、細(xì)粒度事務(wù)、可移?2020年Oracle公司在美國(guó)政府支持下接受TikTok?2022年美國(guó)國(guó)防部“聯(lián)合作戰(zhàn)云能力”合同技術(shù)變革的理論先機(jī)?支持共享集群1987年成為最大的數(shù)據(jù)庫(kù)公司(1989年進(jìn)入中國(guó)市場(chǎng)，1997年成為中國(guó)電信產(chǎn)業(yè)最大的數(shù)據(jù)庫(kù)供應(yīng)商)；主動(dòng)擁抱AI，2024年10月市值超過4800多億美元，達(dá)歷史新oracle的發(fā)展根基:基于原創(chuàng)理論+自主可控技術(shù)+政府引導(dǎo)市場(chǎng)AI對(duì)數(shù)據(jù)庫(kù)系統(tǒng)帶來的挑戰(zhàn)混合查詢同時(shí)處理結(jié)構(gòu)化和向量數(shù)據(jù)，關(guān)注查詢效率和復(fù)雜性數(shù)據(jù)高維問題AI技術(shù)發(fā)展提高了向量數(shù)據(jù)維度，需應(yīng)對(duì)存儲(chǔ)效率和高性能相似度計(jì)算挑戰(zhàn)計(jì)算可擴(kuò)展性:應(yīng)對(duì)向量數(shù)據(jù)增長(zhǎng)的需求?數(shù)據(jù)增長(zhǎng)：向量數(shù)據(jù)快速增長(zhǎng)，需維持穩(wěn)定性和高性能?性能維護(hù)：擴(kuò)展系統(tǒng)時(shí)，確保查詢效率不受影響?資源利用：數(shù)據(jù)增加時(shí)，優(yōu)化系統(tǒng)資源利用openA收購(gòu)Rockset?大模型通過重新訓(xùn)練實(shí)現(xiàn)更新知識(shí)成本巨大，且信息不可避免存在嚴(yán)重滯后：GPT-4每1次訓(xùn)練需2.5萬張A100卡，耗時(shí)百日、花費(fèi)6300萬美元?OpenAI需要將外部知識(shí)庫(kù)中信息注入大模型，解決大模型高效實(shí)時(shí)更新問題崖山的思考與答案崖山的思考與答案面對(duì)挑戰(zhàn)現(xiàn)有方法在效率與準(zhǔn)確性之間難以實(shí)現(xiàn)平衡?基于語(yǔ)義連接實(shí)現(xiàn)多模態(tài)異構(gòu)數(shù)據(jù)的跨模計(jì)算?提供向量數(shù)據(jù)管理能力，并支持關(guān)系&向量混合查詢?探索數(shù)據(jù)尺度無關(guān)的確定性查詢方法，兼顧查詢性能和準(zhǔn)確度自研才會(huì)自強(qiáng)、自立!追趕、平替、超越自研向量數(shù)據(jù)庫(kù)構(gòu)建統(tǒng)一向量數(shù)據(jù)管理能力大模型訓(xùn)練需要海量原始數(shù)據(jù)和向量數(shù)據(jù)分布式技術(shù)路線成本高不可持續(xù)大模型訓(xùn)練需要海量原始數(shù)據(jù)和向量數(shù)據(jù)?擴(kuò)展性問題：分布式計(jì)算需要在不同節(jié)點(diǎn)間實(shí)現(xiàn)數(shù)據(jù)和狀態(tài)同步，隨計(jì)算效率隨集群增長(zhǎng)而下降，無法滿足數(shù)據(jù)持續(xù)增長(zhǎng)要求的算力增長(zhǎng)?成本高：計(jì)算和存儲(chǔ)節(jié)點(diǎn)需求會(huì)隨數(shù)據(jù)不斷增長(zhǎng)，硬件和維護(hù)成本不斷膨脹?增量：自2017年起，AI模型的規(guī)模每半年翻一番，用于模型訓(xùn)練的數(shù)據(jù)量持續(xù)增長(zhǎng)?擴(kuò)展性問題：分布式計(jì)算需要在不同節(jié)點(diǎn)間實(shí)現(xiàn)數(shù)據(jù)和狀態(tài)同步，隨計(jì)算效率隨集群增長(zhǎng)而下降，無法滿足數(shù)據(jù)持續(xù)增長(zhǎng)要求的算力增長(zhǎng)?成本高：計(jì)算和存儲(chǔ)節(jié)點(diǎn)需求會(huì)隨數(shù)據(jù)不斷增長(zhǎng)，硬件和維護(hù)成本不斷膨脹開源無法滿足需求基于開源只是臨時(shí)方案?當(dāng)前開源向量數(shù)據(jù)庫(kù)多采用開源組件“組裝”“拼接”路，開源無法滿足需求基于開源只是臨時(shí)方案?當(dāng)前開源向量數(shù)據(jù)庫(kù)多采用開源組件“組裝”“拼接”路，線難以完全融合適配，性能受開源組件向量檢索庫(kù)、關(guān)系數(shù)據(jù)庫(kù)或其他組件限制?基于開源不能完全掌控源代碼，難以快速應(yīng)對(duì)多模態(tài)原始數(shù)據(jù)和向量數(shù)據(jù)的統(tǒng)一管理以及高性能查詢的新需求?多模：DeepMind的Flamingo視覺語(yǔ)言模型采用20多億圖文對(duì)，270萬視頻-文本對(duì)，430萬圖文混合數(shù)據(jù)開源組裝，無法滿足新需求，只能是臨時(shí)方案開源和分布式方案存在不足不能滿足新需求深算院原創(chuàng)理論：有界計(jì)算、跨模計(jì)算、近似計(jì)算、混合查詢有界計(jì)算有界計(jì)算將大數(shù)據(jù)變小實(shí)測(cè)通信數(shù)據(jù)查詢速度：提高25-10萬倍DQ240min943m78ms928ms80min有界計(jì)算傳