人工智能行業(yè)專題：海外AI基礎(chǔ)軟件被認(rèn)可

目錄請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容一、Datadog：APM助力GPT應(yīng)用降本增效Datadog是高效的APM解決方案AIGC給APM帶來新的投資領(lǐng)域二、Palantir：大模型應(yīng)用于數(shù)據(jù)分析Palantir

AIP可用于軍用和民用領(lǐng)域AI市場增長加速Palantir收入增長三、投資建議：關(guān)注國內(nèi)相關(guān)映射公司1、Datadog：APM助力GPT應(yīng)用降本增效請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容美國AI主流分析可分為數(shù)據(jù)、數(shù)據(jù)傳輸和數(shù)據(jù)處理美國AI主流分析可分為數(shù)據(jù)、數(shù)據(jù)傳輸、數(shù)據(jù)處理。1）數(shù)據(jù)（Data）層面：對(duì)數(shù)據(jù)全方位的監(jiān)測服務(wù)，幫助用戶深入了解其基礎(chǔ)設(shè)施的性能表現(xiàn)，特別是監(jiān)控API的使用情況和tokens消耗對(duì)于控制支出和提高應(yīng)用程序性能也至關(guān)重要，代表公司為Datadog；2）數(shù)據(jù)傳輸（Supplying/Moving

the

Data）層面：AI需要大量的數(shù)據(jù)訓(xùn)練，對(duì)服務(wù)器之間數(shù)據(jù)傳輸速度提出更高要求，代表公司為博通；3）數(shù)據(jù)處理（Processing

Power

to

Run

AI

Algorithms

to

data）層面：這一環(huán)節(jié)需要強(qiáng)AI算力支撐，目前主流AI算力芯片仍是GPU，代表廠商為英偉達(dá)。圖1：美國AI主流分析可為數(shù)據(jù)、數(shù)據(jù)傳輸和數(shù)據(jù)處理美國AI主流分析數(shù)據(jù)數(shù)據(jù)傳輸數(shù)據(jù)處理代表公司Datadog 博通資料來源：Datadog，Broadcom，Nvidia，國信證券經(jīng)濟(jì)研究所整理請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容英偉達(dá)圖2：微服務(wù)將取代傳統(tǒng)的整體架構(gòu)資料來源：Devopsschool，國信經(jīng)濟(jì)研究所整理微服務(wù)將取代傳統(tǒng)的整體架構(gòu)微服務(wù)將取代傳統(tǒng)的整體架構(gòu)。1）在傳統(tǒng)的單片框架中，軟件被構(gòu)建為一個(gè)單一的、不可分割的單元，從而產(chǎn)生更簡單但不太靈活的系統(tǒng)；其優(yōu)點(diǎn)為更容易開發(fā)和安裝，但實(shí)現(xiàn)更改或進(jìn)行拓展相對(duì)困難；2）微服務(wù)方法可將整個(gè)架構(gòu)拆分為不同的模塊，并將每個(gè)模塊為一項(xiàng)服務(wù)運(yùn)行，這些服務(wù)使用輕量級(jí)

API

通過明確定義的接口進(jìn)行通信，可以針對(duì)各項(xiàng)服務(wù)進(jìn)行更新、部署和擴(kuò)展，以滿足對(duì)應(yīng)用程序特定功能的需求。圖3：微服務(wù)可針對(duì)各項(xiàng)服務(wù)進(jìn)行更新、部署和擴(kuò)展資料來源：亞馬遜，國信經(jīng)濟(jì)研究所整理請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Datadog：數(shù)據(jù)聚合、云監(jiān)控和業(yè)務(wù)分析Datadog

是一款專為云時(shí)代的應(yīng)用程序而設(shè)計(jì)的監(jiān)控和分析平臺(tái)。它可以幫助開發(fā)人員、IT

運(yùn)營團(tuán)隊(duì)和業(yè)務(wù)用戶實(shí)現(xiàn)對(duì)整個(gè)技術(shù)堆棧的統(tǒng)一、實(shí)時(shí)的可觀察性。Datadog擁有實(shí)時(shí)統(tǒng)一數(shù)據(jù)平臺(tái)，使公司能夠輕松地跨各種“數(shù)據(jù)孤島”和格式聚合和監(jiān)控其數(shù)據(jù)；隨著時(shí)間的推移，Datadog增加了功能豐富的創(chuàng)新，如基礎(chǔ)設(shè)施和性能監(jiān)控以及云安全；對(duì)于想要“做多人工智能”的公司，Datadog提供整合平臺(tái)解決方案；Datadog數(shù)據(jù)產(chǎn)品、日志記錄、APM

和測試的部分，它們以索引的數(shù)據(jù)量或測試量命名。Datadog產(chǎn)品包括括主機(jī)，云和容器的基礎(chǔ)架構(gòu)管理，日志管理，事件管理，早期問題和異常檢測，預(yù)生產(chǎn)測試，分析，應(yīng)用程序安全管理和網(wǎng)絡(luò)監(jiān)控等服務(wù)。圖4：Datadog產(chǎn)品應(yīng)用豐富資料來源：Datadog，國信證券經(jīng)濟(jì)研究所整理請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Datadog：在APM和可觀測研究領(lǐng)域，具備領(lǐng)先優(yōu)勢(shì)圖5：Datadog在APM和可觀測研究領(lǐng)域，具備領(lǐng)先優(yōu)勢(shì)資料來源：Gartner，國信證券經(jīng)濟(jì)研究所整理Datadog在APM和可觀測研究領(lǐng)域，具備領(lǐng)先優(yōu)勢(shì)。根據(jù)Gartner披露數(shù)據(jù)，其將APM和可觀測研究領(lǐng)域市場參與者劃為四象限，其中Datadog和Dynatrace（DT）處于領(lǐng)導(dǎo)者（Leader）象限，具備非常明顯的領(lǐng)先優(yōu)勢(shì)。請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Datadog+OpenAI：微調(diào)與增強(qiáng)數(shù)據(jù)監(jiān)控對(duì)大模型廠商非常重要。監(jiān)控API的使用情況和Tokens消耗對(duì)大模型廠商控制支出和提高應(yīng)用程序性能非常重要，大模型廠商可以通過優(yōu)化API的使用、延遲和成本，進(jìn)而更加有效地使用AI模型。了解用法：通過簡單的設(shè)置過程，用戶可以使用

Datadog快速全面了解

OpenAI對(duì)

API

的整體使用情況、tokens消耗和按服務(wù)、團(tuán)隊(duì)和

API

密鑰劃分的成本；優(yōu)化性能：通過跟蹤API錯(cuò)誤率、速率限制和響應(yīng)時(shí)間，Datadog允許用戶識(shí)別應(yīng)用程序性能問題并將其與API性能問題隔離開來。此外，用戶可以查看包含提示和完成示例的跟蹤和日志，以了解關(guān)鍵應(yīng)用程序瓶頸和用戶行為；跟蹤成本：用戶可以查看tokens分配并分析OpenAI

API調(diào)用的相關(guān)成本。Datadog

提供按模型、服務(wù)和組織分配的tokens洞察，幫助團(tuán)隊(duì)更有效地管理費(fèi)用并避免意外賬單；涵蓋多種

AI

模型：

除了涵蓋大型語言模型的GPT系列之外，Datadog的集成還使組織能夠跟蹤其他OpenAI模型的性能，成本和使用情況，包括Ada，Babbage，Curie和Davinci。圖6：Datadog控制和管理數(shù)據(jù)流資料來源：Datadog，國信證券經(jīng)濟(jì)研究所整理請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容APM是IT服務(wù)管理（ITSM）的重要工具，主要對(duì)軟件應(yīng)用程序的性能和服務(wù)質(zhì)量進(jìn)行監(jiān)控和管理。APM工具對(duì)于保持應(yīng)用程序性能，以及在性能出現(xiàn)問題時(shí)快速定位和解決問題非常重要。APM的目標(biāo)是通過確保應(yīng)用程序性能達(dá)到滿意水平，以提高最終用戶的體驗(yàn)和滿意度。這通常通過追蹤和監(jiān)控應(yīng)用程序來實(shí)現(xiàn)，這些應(yīng)用程序可能位于數(shù)據(jù)中心內(nèi)，也可能在云端。APM工具可以幫助IT和運(yùn)維團(tuán)隊(duì)了解應(yīng)用程序的性能情況，以便在性能下降時(shí)可以及時(shí)采取措施進(jìn)行優(yōu)化。APM是SaaS中的重要環(huán)節(jié)。由于SaaS應(yīng)用程序通常服務(wù)于大量用戶并且需求可能隨時(shí)間變化，所以需要有強(qiáng)大的監(jiān)控工具來確保服務(wù)的穩(wěn)定性和性能。如果SaaS應(yīng)用程序出現(xiàn)性能問題，可能會(huì)影響到所有用戶，這就使得APM在這種環(huán)境下更為關(guān)鍵。APM是IT和SaaS的重要工具圖7：應(yīng)用性能管理流程圖資料來源：Seeking

Alpha，國信經(jīng)濟(jì)研究所整理圖8：常用的APM工具資料來源：Seeking

Alpha，國信經(jīng)濟(jì)研究所整理9請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Datadog是一種專注于云端軟件基礎(chǔ)設(shè)施的全維度監(jiān)測平臺(tái)。它提供實(shí)時(shí)的全棧性能可見性，涵蓋了從應(yīng)用程序頂層到中間層的Kubernetes/Docker/Hypervisor，再到操作系統(tǒng)和中間件，甚至包括數(shù)據(jù)庫和第三方服務(wù)等完整基礎(chǔ)設(shè)施堆棧的性能監(jiān)測。無論是云原生架構(gòu)還是傳統(tǒng)部署，Datadog都能提供全方位的監(jiān)測服務(wù)，幫助用戶深入了解其基礎(chǔ)設(shè)施的性能表現(xiàn)。Datadog的APM解決方案優(yōu)勢(shì)有：細(xì)節(jié)豐富的性能數(shù)據(jù)：Datadog收集并展示應(yīng)用程序的各種性能指標(biāo)，包括響應(yīng)時(shí)間、請(qǐng)求吞吐量、錯(cuò)誤率、數(shù)據(jù)庫查詢性能等?？缙脚_(tái)和跨語言支持：Datadog支持多種編程語言和應(yīng)用程序框架，包括Java、Python、Ruby、Node.js等。無論應(yīng)用程序運(yùn)行在云環(huán)境、容器化環(huán)境還是傳統(tǒng)的物理服務(wù)器上，Datadog都能提供全面的性能監(jiān)測和管理。實(shí)時(shí)性強(qiáng)：助力快速問題定位。Datadog提供有效的APM解決方案圖9：Datadog是專注于云端軟件基礎(chǔ)設(shè)施的平臺(tái)資料來源：SeekingAlpha，雪國信經(jīng)濟(jì)研究所整理圖10：Datadog的APM應(yīng)用案例資料來源：SeekingAlpha，國信經(jīng)濟(jì)研究所整理10請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容AIGC給APM帶來新的投資領(lǐng)域在復(fù)雜的AIGC環(huán)境下，智算中心的架構(gòu)變得更為復(fù)雜，這也使得監(jiān)控系統(tǒng)的價(jià)值得到提升。智算復(fù)雜性增加：在智算中心，相較于傳統(tǒng)數(shù)據(jù)中心，CPU、計(jì)算卡以及存儲(chǔ)實(shí)現(xiàn)了高度解耦和按需調(diào)用，這使得系統(tǒng)的復(fù)雜性顯著提升。大模型訓(xùn)練的復(fù)雜性增加：大模型的訓(xùn)練通常需要使用數(shù)萬張以上的算力卡，并且由于參數(shù)數(shù)量龐大，通常需要采用更復(fù)雜的分布式計(jì)算方式。因此，各項(xiàng)資源都需要進(jìn)行實(shí)時(shí)監(jiān)控。圖11：智算中心架構(gòu)圖資料來源：國家信息中心，國信證券經(jīng)濟(jì)研究所整理圖12：大模型訓(xùn)練流程資料來源：CSDN，國信證券經(jīng)濟(jì)研究所整理11請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容AIGC給APM帶來新的投資領(lǐng)域由于硬件端和訓(xùn)練端的復(fù)雜性，傳統(tǒng)的IT監(jiān)控系統(tǒng)需要進(jìn)行整合，以滿足運(yùn)維需求。這帶來了監(jiān)控系統(tǒng)價(jià)值的提升。傳統(tǒng)的IT監(jiān)控系統(tǒng)主要關(guān)注硬件設(shè)備和基本的系統(tǒng)指標(biāo)，如服務(wù)器的CPU利用率、內(nèi)存使用情況、網(wǎng)絡(luò)流量和存儲(chǔ)容量等。隨著技術(shù)的進(jìn)步和復(fù)雜的IT環(huán)境的出現(xiàn)，監(jiān)控解決方案需要提供更廣泛、更智能的功能，并涵蓋了更多的應(yīng)用層面、云服務(wù)和容器化環(huán)境。APM在整合IT監(jiān)控系統(tǒng)中的價(jià)值在于提供全面的應(yīng)用程序監(jiān)測、業(yè)務(wù)影響分析、故障排除和快速恢復(fù)、自動(dòng)化和智能化以及統(tǒng)一的監(jiān)控視圖。Datadog將企業(yè)原本的十幾個(gè)到最多幾十個(gè)互相割裂的

IT監(jiān)測系統(tǒng)整合成一個(gè)，既提高監(jiān)控效率，又降低企業(yè)的

IT

支出。圖13：傳統(tǒng)的IT監(jiān)控系統(tǒng)案例資料來源：Seeking

Alpha，國信證券經(jīng)濟(jì)研究所整理圖14：Datadog將互相割裂的IT監(jiān)測系統(tǒng)進(jìn)行了整合資料來源：Datadog，國信證券經(jīng)濟(jì)研究所整理12請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容AIGC給APM帶來新的投資領(lǐng)域13請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容APM在整合IT監(jiān)控系統(tǒng)中的價(jià)值：全面的應(yīng)用程序監(jiān)測：傳統(tǒng)的IT監(jiān)控系統(tǒng)主要關(guān)注底層基礎(chǔ)設(shè)施的性能指標(biāo)，而APM專注于應(yīng)用程序?qū)用?。通過集成APM工具，可以深入監(jiān)測應(yīng)用程序的各個(gè)組件、事務(wù)和用戶體驗(yàn)，提供全面的應(yīng)用程序性能數(shù)據(jù)。這樣可以更好地了解應(yīng)用程序的行為和性能瓶頸，并快速識(shí)別和解決問題。業(yè)務(wù)影響分析：APM不僅提供了應(yīng)用程序的性能數(shù)據(jù)，還能幫助分析這些數(shù)據(jù)與業(yè)務(wù)指標(biāo)之間的關(guān)系。通過與IT監(jiān)控系統(tǒng)的整合，可以將應(yīng)用程序性能數(shù)據(jù)與底層基礎(chǔ)設(shè)施的監(jiān)測數(shù)據(jù)進(jìn)行關(guān)聯(lián)，從而更好地理解應(yīng)用程序性能對(duì)業(yè)務(wù)的影響。這樣可以幫助管理員更加準(zhǔn)確地評(píng)估應(yīng)用程序的重要性和緊急性，優(yōu)化資源分配和決策。故障排除和快速恢復(fù)：APM提供了詳細(xì)的性能指標(biāo)和事務(wù)跟蹤數(shù)據(jù)，可以幫助快速定位應(yīng)用程序中的性能問題和故障原因。通過整合APM和IT監(jiān)控系統(tǒng)，管理員可以更快速地識(shí)別問題并采取相應(yīng)的措施。這有助于縮短故障恢復(fù)時(shí)間，最小化業(yè)務(wù)中斷和用戶影響。自動(dòng)化和智能化：現(xiàn)代的APM工具往往具備自動(dòng)化和智能化的功能。它們可以自動(dòng)識(shí)別異常模式、預(yù)測潛在的問題，并自動(dòng)觸發(fā)警報(bào)和通知。通過與IT監(jiān)控系統(tǒng)的整合，這些智能化的功能可以進(jìn)一步增強(qiáng)，使監(jiān)測和響應(yīng)變得更加高效和準(zhǔn)確。統(tǒng)一的監(jiān)控視圖：整合APM和IT監(jiān)控系統(tǒng)可以為管理員提供一個(gè)統(tǒng)一的監(jiān)控視圖，將應(yīng)用程序性能和底層基礎(chǔ)設(shè)施的狀態(tài)集中在一起。這樣可以幫助管理員更全面地了解系統(tǒng)的健康狀況，更好地進(jìn)行容量規(guī)劃和資源管理AIGC給APM帶來新的投資領(lǐng)域14大模型的算力消耗較大，成本較高。目前根據(jù)根據(jù)GPT-4的公開數(shù)據(jù)，在8K的上下文長度下，每1000個(gè)token的提問成本為0.03美金，每1000個(gè)token的回答完成成本為0.06美金；在32K的上下文長度下，每1000個(gè)token的提問成本為0.06美金，每1000個(gè)token的回答完成成本為0.12美金。高效的運(yùn)維系統(tǒng)對(duì)提升訓(xùn)練效率、降低成本有貢獻(xiàn)。整合的IT監(jiān)控系統(tǒng)可實(shí)現(xiàn)對(duì)智算中心和模型在設(shè)計(jì)、迭代、部署等全生命周期的監(jiān)控，提高模型整體訓(xùn)練效率：優(yōu)化資源管理：包括計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。它能動(dòng)態(tài)分配和調(diào)整資源，滿足訓(xùn)練需求，避免資源浪費(fèi)和瓶頸，提高訓(xùn)練效率；通過自動(dòng)化工具和流程，實(shí)現(xiàn)自動(dòng)完成環(huán)境配置、數(shù)據(jù)準(zhǔn)備、模型部署和監(jiān)控等一系列運(yùn)維任務(wù)。這減少了人工干預(yù)和錯(cuò)誤，提高了訓(xùn)練過程的速度和一致性；通過監(jiān)控和故障檢測功能，及時(shí)發(fā)現(xiàn)訓(xùn)練環(huán)境中的異常情況，如硬件故障、網(wǎng)絡(luò)問題或資源不足?？焖僮R(shí)別并采取適當(dāng)?shù)募m正措施，減少訓(xùn)練中斷時(shí)間，提高訓(xùn)練效率。圖15：ChatGPT-4訪問價(jià)格資料來源：OpenAI官網(wǎng)，國信證券經(jīng)濟(jì)研究所整理請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容2、Palantir：大模型應(yīng)用于數(shù)據(jù)分析請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Palantir：專注于大數(shù)據(jù)分析圖16：Palantir的產(chǎn)品結(jié)構(gòu)資料來源：Seeking

Alpha，國信證券經(jīng)濟(jì)研究所整理圖17：PalantirFoundary加速了端到端的數(shù)據(jù)轉(zhuǎn)化資料來源：數(shù)字海岸，國信證券經(jīng)濟(jì)研究所整理PalantirTechnologies是一家位于美國的軟件公司，專注于大數(shù)據(jù)分析。Palantir提供兩款主要產(chǎn)品：Gotham主要用于政府機(jī)構(gòu)，包括防御和情報(bào)部門，用于數(shù)據(jù)集成、可視化和分析。Foundry則更偏向于企業(yè)市場，可以幫助組織進(jìn)行數(shù)據(jù)管理、數(shù)據(jù)治理和分析決策。請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Palantir為特定AI業(yè)務(wù)需求提供解決方案圖18：Palantir的數(shù)據(jù)分析界面資料來源：Seeking

Alpha，國信證券經(jīng)濟(jì)研究所整理圖19：Palantir為軍方提供的知識(shí)圖譜AI分析資料來源：Seeking

Alpha，國信證券經(jīng)濟(jì)研究所整理PalantirPalantir的定制化是其在AI領(lǐng)域內(nèi)的核心優(yōu)勢(shì)。Palantir沒有通用工具軟件，它的產(chǎn)品中有30%需要定制化，這是其在AI領(lǐng)域的核心優(yōu)勢(shì)。使得AI系統(tǒng)可以更加快速、準(zhǔn)確地分析和識(shí)別數(shù)據(jù)模式和關(guān)聯(lián)關(guān)系；通過將AI模型與特定任務(wù)或行業(yè)進(jìn)行適配，Palantir可以提供高度專業(yè)化的解決方案，從而幫助客戶更好地理解和應(yīng)用數(shù)據(jù)；此外，Palantir的定制化還可以提高其安全性和隱私保護(hù)能力，使其在敏感領(lǐng)域中更具競爭優(yōu)勢(shì)。請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容Palantir

AIP：應(yīng)用于軍事和民間的人工智能平臺(tái)圖20：Palantir

AIP的戰(zhàn)場Demo資料來源：Palantir，國信證券經(jīng)濟(jì)研究所整理圖21：Palantir

AIP的民用領(lǐng)域資料來源：Seeking

Alpha，國信證券經(jīng)濟(jì)研究所整理Palantir

AIP可應(yīng)用于軍事和民用領(lǐng)域。1）軍事領(lǐng)域：Palantir

AIP專注于為大型語言模型提高其安全性和隱私保護(hù)能力，使其在敏感領(lǐng)域中更具競爭優(yōu)勢(shì)，這是美國軍方和商業(yè)部門的關(guān)鍵利益；2）民用領(lǐng)域：其可用于與金融、醫(yī)療保健、政府、零售業(yè)等民用領(lǐng)域。請(qǐng)務(wù)必閱讀正文之后的免責(zé)聲明及其項(xiàng)下所有內(nèi)容圖22：全球AI市場規(guī)?？焖僭鲩L資料來源：德勤，國信證券經(jīng)濟(jì)研究所整理AI市場增長加速Palantir收入增長全球AI市場快速增長。根據(jù)德勤數(shù)據(jù)，預(yù)計(jì)23年全球人工智能市場規(guī)模達(dá)到4.48萬億美元，預(yù)計(jì)25年增長至6.40萬億美金，17-25年CAGR達(dá)32.10%，全球AI市場快速增長；AI市場增長加速Palantir收入增長。根據(jù)Palantir財(cái)報(bào)披露，受益于AI快速發(fā)展，公司業(yè)績快速增長，