2023愛分析·跨模態(tài)信息檢索平臺市場廠商評估報(bào)告-蜜度-2023.09

1|跨模態(tài)信息檢索平臺市場廠商評估-蜜度目錄1.

研究范圍定義2.

跨模態(tài)信息檢索平臺市場分析3.

廠商評估：蜜度4.

入選證書141015161718關(guān)于愛分析研究與咨詢服務(wù)法律聲明2|跨模態(tài)信息檢索平臺市場廠商評估-蜜度研究范圍定義3|跨模態(tài)信息檢索平臺市場廠商評估-蜜度1.

研究范圍定義人工智能是指運(yùn)用機(jī)器學(xué)習(xí)/深度學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺、知識圖譜等技術(shù)，并結(jié)合業(yè)務(wù)場景形成解決方案，以輔助、增強(qiáng)或替代人工來制定決策或執(zhí)行任務(wù)。愛分析從產(chǎn)業(yè)鏈角度，把人工智能市場劃分為基礎(chǔ)設(shè)施層、AI

平臺層和應(yīng)用層，具體市場劃分詳見下圖。1|跨模態(tài)信息檢索平臺市場廠商評估-蜜度本評估報(bào)告聚焦應(yīng)用層的跨模態(tài)信息檢索平臺市場，愛分析遴選出具備成熟解決方案和落地能力的廠商，為企業(yè)選型提供參考。同時(shí)，在該市場下，愛分析重點(diǎn)選取了跨模態(tài)信息檢索平臺廠商蜜度進(jìn)行能力評估。2|跨模態(tài)信息檢索平臺市場廠商評估-蜜度跨模態(tài)信息檢索平臺市場分析3|跨模態(tài)信息檢索平臺市場廠商評估-蜜度2.

跨模態(tài)信息檢索平臺市場分析市場定義：跨模態(tài)檢索平臺是指以一種類型的數(shù)據(jù)作為查詢輸入，檢索另一種類型數(shù)據(jù)的平臺，主要應(yīng)用于輿情分析、口碑分析、視頻溯源、智能預(yù)警等領(lǐng)域。甲方終端用戶：企業(yè)營銷部門、市場部門；媒體編輯；政府宣傳部門、內(nèi)容監(jiān)管部門甲方核心需求：隨著數(shù)據(jù)規(guī)模膨脹、類型逐漸豐富，數(shù)據(jù)的存儲方式也呈現(xiàn)出多模態(tài)形式。當(dāng)企業(yè)、媒體和政府部門用戶出于輿情管理、內(nèi)容監(jiān)管等原因進(jìn)行信息檢索時(shí)，對于不同模態(tài)的相同信息，往往有同樣的檢索需求，跨模態(tài)信息檢索平臺應(yīng)運(yùn)而生。各類用戶對于跨模態(tài)信息檢索平臺的基礎(chǔ)需求包括快速、全面和準(zhǔn)確。近年來，隨著信息數(shù)量和隱蔽性的增加，粗顆粒度的跨模態(tài)檢索結(jié)果逐漸難以滿足用戶要求，細(xì)顆粒度檢索需求也逐漸顯現(xiàn)。圖

1

甲方對跨模態(tài)信息檢索平臺的核心需求4|跨模態(tài)信息檢索平臺市場廠商評估-蜜度

企業(yè)需要跨模態(tài)檢索結(jié)果覆蓋全面?；ヂ?lián)網(wǎng)數(shù)據(jù)規(guī)模持續(xù)擴(kuò)張，信息分布呈現(xiàn)多模態(tài)、多渠道的特點(diǎn)。一方面，短視頻的興起使得視頻類信息數(shù)量激增，關(guān)鍵信息可能作為某一幀畫面的一部分出現(xiàn)，具有更強(qiáng)的隱蔽性，傳統(tǒng)檢索方式很難準(zhǔn)確識別。另一方面，隨著網(wǎng)絡(luò)信息渠道的多元化，相同的信息可能出現(xiàn)在多個(gè)網(wǎng)站，容易產(chǎn)生“漏網(wǎng)之魚”。以上因素對企業(yè)和政府部門的輿情管理提出更高要求。為保證信息獲取的完整性和輿情管理的有效性，企業(yè)和政府部門需要對互聯(lián)網(wǎng)公開信息進(jìn)行跨模態(tài)全面檢索，不遺漏關(guān)鍵信息。

企業(yè)需要具備跨模態(tài)信息監(jiān)測能力，快速發(fā)現(xiàn)多模態(tài)輿情信息。輿情和品牌風(fēng)險(xiǎn)管理是跨模態(tài)信息檢索平臺的重要應(yīng)用場景。以企業(yè)品牌風(fēng)險(xiǎn)管理為例，公關(guān)事件對企業(yè)響應(yīng)速度提出很高要求，企業(yè)需要及時(shí)發(fā)現(xiàn)輿情，迅速做出回應(yīng)。如果應(yīng)對速度緩慢，會導(dǎo)致網(wǎng)絡(luò)輿情發(fā)酵，對企業(yè)聲譽(yù)乃至業(yè)務(wù)產(chǎn)生更嚴(yán)重的影響。為此，企業(yè)需要具備跨模態(tài)品牌風(fēng)險(xiǎn)監(jiān)測能力，快速發(fā)現(xiàn)多模態(tài)輿情信息。

企業(yè)需要提高跨模態(tài)信息檢索準(zhǔn)確性，保障搜索效率。用戶通過關(guān)鍵詞、圖片、視頻等搜索方式，從跨模態(tài)信息檢索平臺獲取信息后，還需要從中篩選出滿足需求的結(jié)果。如果檢索結(jié)果中包含過多與搜索目標(biāo)不相關(guān)的內(nèi)容，用戶會浪費(fèi)大量時(shí)間進(jìn)行二次篩選。為此，企業(yè)需要提高跨模態(tài)信息檢索準(zhǔn)確性，從而保障用戶信息搜索效率。

企業(yè)需要細(xì)化跨模態(tài)檢索信息顆粒度，一步獲取關(guān)鍵信息。隨著信息數(shù)量和隱蔽性的增加，粗顆粒度的檢索結(jié)果逐漸難以滿足用戶需求。以視頻檢索為例，常見的跨模態(tài)檢索只能篩選出特定的視頻片段，需要用戶自行從中篩選所需信息。以圖片檢索為例，當(dāng)用戶輸入“海灘”時(shí)，只能得到帶有“海灘”關(guān)鍵字的圖片，需要二次篩選出包含海灘場景的圖片。如今企業(yè)對跨模態(tài)檢索結(jié)果的顆粒度要求逐漸細(xì)化，需要從視頻中抽取特定的片段甚至關(guān)鍵幀，一步獲取關(guān)鍵信息。廠商能力要求：企業(yè)對跨模態(tài)信息檢索平臺的需求為廠商提出多項(xiàng)能力要求。為實(shí)現(xiàn)檢索全面性，廠商需要擴(kuò)展產(chǎn)品的信息識別范圍、提高識別準(zhǔn)確性，并根據(jù)用戶反饋及時(shí)迭代；為保障檢索時(shí)效性，廠商需要優(yōu)化底層配置和搜索能力，并為高時(shí)效性要求的應(yīng)用場景提供快速查詢服務(wù)；為保障檢索準(zhǔn)確性，跨模態(tài)信息檢索平臺需要具備高效數(shù)據(jù)清洗能力，并通過標(biāo)簽選項(xiàng)提供信息快速篩選功能。此外，跨模態(tài)信息檢索平臺需要通過細(xì)化特征表示、集成各類信息編輯技術(shù)，滿足用戶細(xì)顆粒度的檢索需求。5|跨模態(tài)信息檢索平臺市場廠商評估-蜜度

廠商需要擴(kuò)展產(chǎn)品的信息識別范圍、提高識別準(zhǔn)確性，并根據(jù)用戶反饋及時(shí)迭代。為滿足企業(yè)和政府部門對跨模態(tài)信息檢索的全面性要求，跨模態(tài)信息檢索平臺需要擴(kuò)展信息識別范圍、提高識別準(zhǔn)確性，具體要求如下：表

1

跨模態(tài)信息檢索平臺擴(kuò)大識別范圍、提高識別準(zhǔn)確性要求同時(shí)，廠商需要及時(shí)收集用戶對跨模態(tài)信息檢索平臺的使用反饋，對檢索結(jié)果的全面性進(jìn)行評估，用評估結(jié)果指導(dǎo)檢索系統(tǒng)迭代。

廠商需要優(yōu)化底層配置和搜索能力，并為高時(shí)效性要求的應(yīng)用場景提供快速查詢服務(wù)。為滿足輿情和品牌風(fēng)險(xiǎn)管理等需求對信息時(shí)效性的要求，廠商首先需要從底層配置、任務(wù)分發(fā)機(jī)制和搜索方式等途徑提高跨模態(tài)信息檢索速度：6|跨模態(tài)信息檢索平臺市場廠商評估-蜜度圖

2

部分提高跨模態(tài)信息檢索速度的方式在此基礎(chǔ)上，部分頭部廠商已經(jīng)針對信息檢索時(shí)效性需求，定制跨模態(tài)信息檢索平臺的產(chǎn)品功能。以輿情管理為例，跨模態(tài)信息檢索平臺可以監(jiān)控?zé)衢T視頻平臺信息，實(shí)時(shí)搜集熱搜數(shù)據(jù)，并利用

AI

技術(shù)識別出其中的關(guān)鍵語義信息，快速識別視頻中可能存在的風(fēng)險(xiǎn)。

跨模態(tài)信息檢索平臺需要具備高效數(shù)據(jù)清洗能力，并通過標(biāo)簽選項(xiàng)提供信息快速篩選功能。為保障跨模態(tài)信息檢索的準(zhǔn)確性，廠商需要提高跨模態(tài)信息檢索平臺的數(shù)據(jù)清洗能力，包括不重復(fù)采集已經(jīng)采集過的內(nèi)容，以及將已采集的內(nèi)容通過語義相似度比對，進(jìn)行相似合并和重復(fù)內(nèi)容清洗。此外，廠商應(yīng)將用戶常用的搜索關(guān)鍵詞提煉成標(biāo)簽，以知識圖譜的形式存儲為結(jié)構(gòu)化標(biāo)簽體系，為用戶提供定向檢索功能。在信息采集、清洗完畢后，用戶可通過定向檢索功能實(shí)現(xiàn)信息過濾。在此基礎(chǔ)上，廠商需要通過情感識別等

AI

技術(shù)豐富標(biāo)簽數(shù)量，涵蓋更多領(lǐng)域、主題和細(xì)節(jié)信息，從而提供更精準(zhǔn)的檢索結(jié)果。

跨模態(tài)信息檢索平臺需要細(xì)化特征表示，并集成各類信息編輯技術(shù)，為用戶提供細(xì)顆粒度的檢索結(jié)果。傳統(tǒng)的圖像和文本跨模態(tài)檢索將每張圖片視為一個(gè)整體，使用全局特征表示，而每個(gè)文本標(biāo)簽只用一個(gè)向量表示。為滿足用戶對檢索顆粒度的要求，跨模態(tài)信息檢索平臺需要細(xì)化特征表示。在圖像表示方面，可以利用目標(biāo)檢測算法或?qū)嵗指钏惴?，從圖片中提取出物體，并用每個(gè)物體的特征向量來表示圖像。在文本表示方面，可以將文本標(biāo)簽分解成單詞或短語，并用預(yù)訓(xùn)練的詞向量來分別表示。以上方式能準(zhǔn)確捕捉圖片和文本之間的語義關(guān)系，提高跨模態(tài)信息檢索的準(zhǔn)確性，如當(dāng)用戶查詢“海灘”時(shí)，可以直接得到擁有“海灘”場景或物體的圖片。同時(shí)，跨模態(tài)檢索平臺需要融入各類信息編輯技術(shù)，直接將細(xì)顆粒度檢索結(jié)果呈現(xiàn)給用戶。在視頻檢索中，廠商可通過關(guān)鍵幀提取技術(shù)將視頻關(guān)鍵幀以圖片的形式呈現(xiàn)。在圖片檢索中，平7|跨模態(tài)信息檢索平臺市場廠商評估-蜜度臺識別出重點(diǎn)物體或場景的特征向量后，可標(biāo)記對應(yīng)圖片像素區(qū)域。用戶無需進(jìn)行重復(fù)篩選，即可獲取所需信息。入選標(biāo)準(zhǔn)說明：1.

符合跨模態(tài)信息檢索平臺的廠商能力要求；2.近一年廠商在該市場的營收不低于

500

萬元；3.近一年廠商在該市場的付費(fèi)客戶不低于

10

個(gè)。8|跨模態(tài)信息檢索平臺市場廠商評估-蜜度廠商評估：蜜度9|跨模態(tài)信息檢索平臺市場廠商評估-蜜度3.

廠商評估：蜜度廠商介紹：上海蜜度信息技術(shù)有限公司（簡稱蜜度）是一家以人工智能技術(shù)為核心的語言智能科技企業(yè)，專注于多模態(tài)多語言智能科技，為政府和企業(yè)各類辦公場景提供智能應(yīng)用軟件。公司創(chuàng)立于

2009

年

，致力于為數(shù)字政府、數(shù)字營銷、數(shù)字媒體、數(shù)字城市的建設(shè)提供全方位的智能應(yīng)用解決方案。蜜度利用先進(jìn)的跨模態(tài)檢索（CMR）、多語言校對（MLC）、計(jì)算機(jī)視覺（CV）、自然語言處理（NLP）、內(nèi)容生成（AIGC）、知識圖譜（KG）等人工智能技術(shù)為企業(yè)和政府機(jī)構(gòu)提供智能校對、智能生成、智能檢索等應(yīng)用軟件產(chǎn)品，賦能企業(yè)和政府的辦公場景數(shù)字化、智能化轉(zhuǎn)型升級。產(chǎn)品服務(wù)介紹：蜜度索驥是一款集圖片檢索、視頻檢索和跨模態(tài)檢索為一體的信息檢索智能軟件，基于

CV、OCR

等人工智能技術(shù)，對圖片、音視頻中的場景、字幕、彈幕、背景、商標(biāo)等元素進(jìn)行識別，并使用跨模態(tài)對比學(xué)習(xí)、多模態(tài)語義融合等跨模態(tài)技術(shù)，實(shí)現(xiàn)對文本、圖片、音頻、視頻的跨模態(tài)信息檢索、分析與應(yīng)用。廠商評估：作為一款跨模態(tài)多語言智能檢索平臺，索驥具備高精度跨模態(tài)信息檢索能力，實(shí)時(shí)檢索文字、圖片和音視頻信息。在此基礎(chǔ)上，蜜度還為政企客戶提供視頻監(jiān)測、視頻熱搜、風(fēng)險(xiǎn)識別、智能預(yù)警等核心功能，使得索驥的功能更好地賦能網(wǎng)信、公安等機(jī)關(guān)部門及品牌企業(yè)。此外，蜜度與產(chǎn)品使用者建立了正向反饋閉環(huán)，基于用戶使用體驗(yàn)迭代

AI

能力，提高智能檢索水平，并將政企領(lǐng)域豐富項(xiàng)目經(jīng)驗(yàn)沉淀為索驥的檢索能力，為客戶提供定制化部署方案。

索驥具備高精度跨模態(tài)檢索能力，能實(shí)現(xiàn)實(shí)時(shí)信息檢索。蜜度獲得新浪微博官方數(shù)據(jù)支持，以互聯(lián)網(wǎng)公開數(shù)據(jù)，積累了大量訓(xùn)練集。蜜度在訓(xùn)練多模態(tài)語義對齊模型時(shí)，先使用超過

2

億圖文對訓(xùn)練索驥的多模態(tài)泛化能力，再結(jié)合具體場景，使用大量圖文對，對模型進(jìn)行增強(qiáng)訓(xùn)練。海量數(shù)據(jù)的泛10|跨模態(tài)信息檢索平臺市場廠商評估-蜜度化和增強(qiáng)訓(xùn)練使索驥具備高精度跨模態(tài)檢索能力，可準(zhǔn)確解析視頻中的字幕、背景、封面、音頻等特征元素。其中，索驥的字幕識別率達(dá)

94%-95%，音頻識別率達(dá)

92%-95%。此外，索驥還具備實(shí)時(shí)信息檢索能力。蜜度擁有新浪微博官方數(shù)據(jù)支持，且能對目前市面上熱門的短視頻平臺進(jìn)行分鐘級視頻內(nèi)容輪巡，實(shí)時(shí)了解多個(gè)視頻平臺的熱搜數(shù)據(jù)，保障短視頻信息檢索全面、及時(shí)。

蜜度將知識圖譜、NLP

等

AI

能力與產(chǎn)品結(jié)合，通過打造用戶反饋閉環(huán)，不斷優(yōu)化索驥的智能化檢索水平。作為一家語言智能科技企業(yè)，蜜度十分重視跨模態(tài)檢索的智能化發(fā)展，并在

AI

領(lǐng)域展開長期布局。深度學(xué)習(xí)興起初期，蜜度便與高校、學(xué)界開展多個(gè)

AI

項(xiàng)目合作，并成立了由專業(yè)團(tuán)隊(duì)組成的微熱點(diǎn)研究院開展技術(shù)研究，多年來積累了完備的

AI

研發(fā)和工程實(shí)踐能力。蜜度將

AI

能力與產(chǎn)品結(jié)合，不斷優(yōu)化索驥的跨模態(tài)多語言智能檢索能力：圖

3

跨模態(tài)多語言智能檢索能力考慮到測試場景與用戶實(shí)際搜索場景的差異，蜜度積極推動建立用戶反饋閉環(huán)。以情感判斷為例，索驥在上線后，還會不斷跟進(jìn)客戶在特定使用場景中的精確度反饋，對每一個(gè)情感識別問題歸類、11|跨模態(tài)信息檢索平臺市場廠商評估-蜜度分析，再進(jìn)行下一輪增強(qiáng)訓(xùn)練，使得

AI

情感判斷能力“越用越智能”。圖

4

蜜度打造用戶反饋閉環(huán)機(jī)制

蜜度以需求為導(dǎo)向拓展索驥產(chǎn)品功能，滿足政企多元場景的跨模態(tài)檢索需求。索驥的客戶主要來自政務(wù)和媒體領(lǐng)域，需求以信息檢索、文化傳播和品牌風(fēng)險(xiǎn)防范為主。針對此類客戶的核心需求，蜜度在索驥跨模態(tài)檢索功能的基礎(chǔ)上，開發(fā)了一系列政企領(lǐng)域核心功能，如視頻監(jiān)測、風(fēng)險(xiǎn)識別等。圖

5

索驥核心功能12|跨模態(tài)信息檢索平臺市場廠商評估-蜜度在此基礎(chǔ)上，蜜度定期收集客戶反饋，為索驥開發(fā)出智能預(yù)警、可視化圖表等輔助功能，高效解決客戶使用痛點(diǎn)。以某知名國產(chǎn)汽車品牌為例，近年來其品牌口碑維護(hù)轉(zhuǎn)向新興的視頻社交平臺。但由于短視頻的傳播速度快、信息量大、生產(chǎn)及傳播門檻低，品牌口碑監(jiān)測難度更大。為此，蜜度提供索驥視頻監(jiān)測系統(tǒng)、人工預(yù)警服務(wù)，解決客戶短視頻監(jiān)測的短板，及時(shí)準(zhǔn)確的將客戶需要的短視頻信息分發(fā)給各負(fù)責(zé)人。這些功能保障了企業(yè)能夠及時(shí)預(yù)估可能造成的風(fēng)險(xiǎn)，包括可能引發(fā)的媒體關(guān)注話題，及可能對企業(yè)造成的影響、整體傳播情況，有效提高了客戶工作效率。圖

6

索驥輔助功能

蜜度將政企領(lǐng)域豐富項(xiàng)目經(jīng)驗(yàn)沉淀為索驥的檢索能力，并能為客戶提供定制化部署方案。索驥自推出以來，為大量政企用戶提供跨模態(tài)多語言智能檢索服務(wù)。為保證檢索精度，蜜度不斷優(yōu)化索驥的搜索標(biāo)簽庫。目前，索驥能夠提供超過

100

個(gè)篩選條件，用戶可以快速通過地域圈定、內(nèi)容來源選擇、情感傾向等標(biāo)簽，精準(zhǔn)篩選所需信息。此外，針對國企、政府部門等類型的客戶，蜜度可以提供索驥私有化部署。蜜度可以將索驥的語義特征的抽取等模塊部署到客戶內(nèi)網(wǎng)，用于內(nèi)部的多模態(tài)數(shù)據(jù)檢索。針對不同客戶的使用場景差異，蜜度還能提供模型特化或者再訓(xùn)練服務(wù)。13|跨模態(tài)信息檢索平臺市場廠商評估-蜜度入選證書14|跨模態(tài)信息檢索平臺市場廠商評估-蜜度4.

入選證書15|跨模態(tài)信息檢索平臺市場廠商評估-蜜度關(guān)于愛分析愛分析是中國領(lǐng)先的數(shù)字化市場研究與咨詢機(jī)構(gòu)，成立于中國數(shù)字化興起之時(shí)，致力于成為決策者最值得信任的數(shù)字化智囊。憑借對新興技術(shù)和應(yīng)用的系統(tǒng)研究，對行業(yè)和場景的深刻洞見，愛分析為數(shù)字化大潮中的企業(yè)用戶、廠商和投資機(jī)構(gòu)，提供專業(yè)、客觀、可靠的第三方研究與咨詢服務(wù)，助力決策者洞察數(shù)字